Смотрю трансляцию Tesla AI day 2022. Знакомьтесь - Оптимус, он даже умеет ручками двигать :)

Вы тоже можете посмотреть.

Из интересного, они использовали NeRF для оценки глубины/расстояния объектов

Элегантный кивок в сторону Stable Diffusion

Отличное подробное интро, которое объясняет, как случилась революция DL 10 лет назад, и почему она происходит до сих пор

Слайды

Stanford Machine Learning Group

В Стэнфорде есть группа студентов-докторантов (в основном) и исследователей под предводительством великого и ужасного Эндрю Энга, которая занимаются решениями прикладных проблем с применением машинного обучения. Например, в области медицины (кто интересуется - посмотрите!) или образования. Все проекты - тут.

Я вот не знал, но оказывается они делают классные проекты в области энергии и климата.

🧑🏻‍💻 METER-ML (Methane Tracking Emissions Reference database) - база данных с лейблами присутствия/отсутствия шести источников метана: скотофермы, свалки, угольные шахты, нефтегазоперерабатывающие объекты, нефтяные терминалы и очистные сооружения. Статья -> тут, датасет с лейблами -> тут

🧑🏻‍💻 ForestNet - модель глубокого обучения для классификации причин уменьшения площади лесных массивов по спутниковым снимкам. Статья -> тут, модель и данные -> тут

🧑🏻‍💻 Solar Forecasting - вероятностные модели для прогноза солнечной радиоактивности. Статья -> тут

🧑🏻‍💻 OGNet - модель глубокого обучения для автоматического обнаружения нефтегазовых объектов по аэроснимкам. Статья -> тут, модель и данные -> тут

Интересно же! 😀

AlphaZero научился перемножать матрицы

Алгоритмы помогали математикам выполнять фундаментальные операции на протяжении тысячелетий. Древние египтяне создали алгоритм умножения двух чисел, не требующий таблицы умножения, а греческий математик Евклид описал алгоритм вычисления наибольшего общего делителя, который используется и по сей день.

Сегодня в журнале Nature, DeepMind представляет AlphaTensor, первую систему искусственного интеллекта (ИИ) для обнаружения новых, эффективных и доказательно правильных алгоритмов для фундаментальных задач, таких как умножение матриц.

Подробнее читайте в блог-посте, а для самых смелых в статье в Nature

🚀 IMAGEN VIDEO — Диффузии уже не остановить!

tl;dr
Помните Make-A-Video от MetaAI? Так вот — забудьте! Команда Google Brain только что создало лучшее Text-to-Video решение!

Если вкратце, то это имагеновый гомолог далишного Make-A-Video 🤖

Ну, а если чуть подробнее:

— Text Prompt подается в T5 энкодер
— Затем Base Model (5.6B ❤️) диффузит 16 кадров 40x24 pix в скромных 3 fps
— Затем темпоральный апсемплер TSR (1.7B) делает 32 кадра 40x24pix уже в 6 fps
— И пространственный апскейлер SSR-1 (1.4B) готовит предыдущие 32 кадра в разрешении 80x48 pix, и сразу второй SSR-2 (1.2B) делает 320x192
— Затем следуют еще два стейджа временного и один каскад пространственного суперреза и в итоге мы получаем 128 кадров в разрешении 1280x768 в 24fps

Основной фишкой такого подхода является Video U-Net — архитектура видео-юнет, пространственные операции которого выполняются независимо по кадрам с общими параметрами (батч х время, высота, ширина, каналы), тогда как временные операции работают уже по всему 5-ти мерному тензору (батч, время, высота, ширина, каналы).

Сделаю потом более подробный пост, а пока рекомендую всем посмотреть результаты на сайте проекта!

🚀 Imagen Video
📄 paper

🤖 м и ш и н л е р н и н г

Диффузия оптимизирует нейронки

А вот тут вышла статья, где с помощью диффузионной модели заменяют традиционные оптимизаторы типа SGD или ADAM.

На вход поступают текущие веса оптимизируемой нейронки, текущий лосс, желаемый лосс, и параметр шага диффузии. А диффузионная модель предсказывает новые веса нейросети. Ускорение по сравнению с традиционной оптимизацией в ≈1000 раз.

@ai_newz

Открыт набор PhD студентов в New York University

Это там где ЛеКун. Аспирантура в США бесплатная, более того, вам даже будут платить стипендию что-то типа 30к$ в год

Подаваться тут

ИИ-изображения - новый клип-арт.

Microsoft добавляет DALL-E в свой пакет Office, таким образом картинки сгенерированные ИИ скоро появятся в каждой PowerPoint презентации.

Заметка на The Verge

Поддержите канал

Привет! Мне приятно, что так много людей читает мой канал, и как вы могли заметить, я стараюсь обходится почти без рекламы.

С донатов и рекламы я оплачиваю своего психотерапевта, и сейчас у меня осталось ровно на одно занятие.

Если хотите поддержать канал - закиньте денег на Тиньков.

Или с иностранных счетов на Revolut.

Каждому поддержавшему отвечу на вопрос про Долину и жизнь в ней ;)

Кстати, если кто-то хочет помочь мне вести канал - буду очень рад и буду делиться

А тут, наконец, вышел новый выпуск подкаста Deep Learning Stories, который мы записывали в конце августа🙃
#podcast

S01E05: AI в сейсмологии с Артемием Новоселовым

Гость выпуска — Артемий Новоселов, постдок рисерчер в Stanford University и автор канала NN for Science. В Стенфорде Артемий занимается ML в сейсмологии.

Обсудили с Артемием:
- путь Артемия в рисерче: как добраться до Стенфорда;
- что такое землетрясения и какими методами их пытаются предсказывать;
- AI в сейсмологии: как применяется сейчас, какие есть проблемы и какое видится будущее;
- немного о жизненном: о выгорании, мотивации, психологической помощи.

Ссылки на выпуск:
Yandex Music
Apple Music
Google Music
Spotify
Anchor.fm
YouTube (скоро будет, но без видео в этот раз)

—————————————
Поддержать подкаст и канал можно тут

Stanford CS проводит программу поддержки заявок для недопредставленных студентов. Если вы рассматриваете возможность поступления на программу PhD по компьютерным наукам в Стэнфорде, они обещают сделать все возможное, чтобы дать обратную связь по вашему заявлению.

Подайте заявку до 29 октября.

Compressed Vision for Efficient Video Understanding

DeepMind опубликовал интересную статью, с далеко идущими последствиями. Идея довольно простая и элегантная:

У нас есть много длинных видео, работать с ними сложно по ряду причин (long sequences, размер и тп). Так почему бы нам сначала не сжать эти видосы (с помощью нейрокодека), а потом обучать нейросеть уже на сжатых видео?

Так они и поступили. Мне кажется этот подход будет хорошо работать и с другими долгими последовательностями, например со стримами с датчиков.

🌟 Блог-пост
📖 Статья

#CV #compression #pretraining

StabeDiffusion AR

Тут подвезли версию реально крутого метаверса. Вот так точно будет веселее жить в панельных кварталах, главное не забывать носить очки 🤓.

Источник

Adversarial Latent Autoencoders

Авторы статьи добавили к StyleGAN дополнительный лосс из Autoencoders, который минимизирует разницу латентных векторов (вместо минимизации разницы в пиксельном пространстве между восстановленным изображением и оригиналом; привет Stable Diffusion). Это решило проблему генерации “мыльных” изображений, которой страдают AE.

Для этого они разбили дискриминатор, сделав его CNN часть энкодером, а оставшаяся FCN часть теперь принимает на вход эмбеддинг и, как и раньше, классифицирует его как фейк/реальный. Таким образом, можно повторно использовать веса дискриминатора.

Такой нехитрый трюк позволяет:
1. изменять реальные изображения, извлекая и манипулируя их скрытыми признаками
2. искать похожие изображения, сравнивая эмбеддинги
3. кластеризовать и размечать датасеты небольшим количеством лейблов

👨‍💻 Код
📖 Статья

#GAN #AE #CV
@karray

Postdocs in Santa Cruz, CA

Applications are invited for two postdoctoral scholars in Arctic
Amplification. This work is part of a collaborative project funded by the DOE on the role of warm moist air intrusions as a hypothesised driver of
Arctic amplification. The postdoctoral scholars will conduct novel numerical water tracer and/or radiative-locking experiments in the Energy
Exascale Earth System Model (E3SM) to investigate the provenance of moisture intrusions and how they promote water vapor and cloud feedback over the Arctic.

The selected candidates will ideally have training in atmospheric sciences;
knowledge of extratropical dynamics and/or polar climate; and demonstrated experience modeling and coding, as well as working with large, complex datasets. Applicants with expertise in running and configuring global climate models, such as CESM, E3SM, or another state-of-the-art Earth system model are strongly encouraged to apply.

Apply to work at UC Santa Cruz: recruit.ucsc.edu/JPF01403
Apply to work at University of Victoria: Email the application materials as
a single pdf to hansingh@uvic.ca

#job