Dall-E стал доступным для всех

OpenAI только что отменили waitlist на доступ к Dall-E 2. Просто регаетесь и пользуетесь бесплатными кредитами

🦚 DreamFusion: Text-to-3D using 2D Diffusion от ?Google

Не успели мы насладиться Text2Video от MetaAI как выходит Text-To-3D диффузия.. Что за день..

Как работает? Это градиентный метод, основанный на Loss-функции, такой как DeepDream. По факту происходит оптимизация рандомно инициализированной 3D модельки (a Neural Radiance Field, or NeRF) через градиенты 2D диффузионных генераций.

То есть по факту, проворачивая такой трюк не нужно иметь 3D данных вообще!

Подробнее:
1) Рандомная фигура рендерится через NERF (плотность, освещение, цвет)

2) Этот изначальный бред (так как это начало) рендерится в 2D проекцию

3) Затем к картинке подмешивают шум, и все это подается на!!! внимание!! ИМАГЕН

4) После чего Имаген предсказывает необходимый денойз

5) Затем из пересказанного денойза вычитается подмешанный шум. и ВУАЛЯ! Дальше все дифференцируемо! Можно пускать градиенты обратно на 3D-модель

А то что у ребят был доступ к IMAGEN мне на 99.9999999% кажется, что это Google. Ну, а так, чем Тьюринг не шутит..

👉 https://dreamfusionpaper.github.io/

🤖 м и ш и н л е р н и н г

Смотрю трансляцию Tesla AI day 2022. Знакомьтесь - Оптимус, он даже умеет ручками двигать :)

Вы тоже можете посмотреть.

Из интересного, они использовали NeRF для оценки глубины/расстояния объектов

Элегантный кивок в сторону Stable Diffusion

Отличное подробное интро, которое объясняет, как случилась революция DL 10 лет назад, и почему она происходит до сих пор

Слайды

Stanford Machine Learning Group

В Стэнфорде есть группа студентов-докторантов (в основном) и исследователей под предводительством великого и ужасного Эндрю Энга, которая занимаются решениями прикладных проблем с применением машинного обучения. Например, в области медицины (кто интересуется - посмотрите!) или образования. Все проекты - тут.

Я вот не знал, но оказывается они делают классные проекты в области энергии и климата.

🧑🏻‍💻 METER-ML (Methane Tracking Emissions Reference database) - база данных с лейблами присутствия/отсутствия шести источников метана: скотофермы, свалки, угольные шахты, нефтегазоперерабатывающие объекты, нефтяные терминалы и очистные сооружения. Статья -> тут, датасет с лейблами -> тут

🧑🏻‍💻 ForestNet - модель глубокого обучения для классификации причин уменьшения площади лесных массивов по спутниковым снимкам. Статья -> тут, модель и данные -> тут

🧑🏻‍💻 Solar Forecasting - вероятностные модели для прогноза солнечной радиоактивности. Статья -> тут

🧑🏻‍💻 OGNet - модель глубокого обучения для автоматического обнаружения нефтегазовых объектов по аэроснимкам. Статья -> тут, модель и данные -> тут

Интересно же! 😀

AlphaZero научился перемножать матрицы

Алгоритмы помогали математикам выполнять фундаментальные операции на протяжении тысячелетий. Древние египтяне создали алгоритм умножения двух чисел, не требующий таблицы умножения, а греческий математик Евклид описал алгоритм вычисления наибольшего общего делителя, который используется и по сей день.

Сегодня в журнале Nature, DeepMind представляет AlphaTensor, первую систему искусственного интеллекта (ИИ) для обнаружения новых, эффективных и доказательно правильных алгоритмов для фундаментальных задач, таких как умножение матриц.

Подробнее читайте в блог-посте, а для самых смелых в статье в Nature

🚀 IMAGEN VIDEO — Диффузии уже не остановить!

tl;dr
Помните Make-A-Video от MetaAI? Так вот — забудьте! Команда Google Brain только что создало лучшее Text-to-Video решение!

Если вкратце, то это имагеновый гомолог далишного Make-A-Video 🤖

Ну, а если чуть подробнее:

— Text Prompt подается в T5 энкодер
— Затем Base Model (5.6B ❤️) диффузит 16 кадров 40x24 pix в скромных 3 fps
— Затем темпоральный апсемплер TSR (1.7B) делает 32 кадра 40x24pix уже в 6 fps
— И пространственный апскейлер SSR-1 (1.4B) готовит предыдущие 32 кадра в разрешении 80x48 pix, и сразу второй SSR-2 (1.2B) делает 320x192
— Затем следуют еще два стейджа временного и один каскад пространственного суперреза и в итоге мы получаем 128 кадров в разрешении 1280x768 в 24fps

Основной фишкой такого подхода является Video U-Net — архитектура видео-юнет, пространственные операции которого выполняются независимо по кадрам с общими параметрами (батч х время, высота, ширина, каналы), тогда как временные операции работают уже по всему 5-ти мерному тензору (батч, время, высота, ширина, каналы).

Сделаю потом более подробный пост, а пока рекомендую всем посмотреть результаты на сайте проекта!

🚀 Imagen Video
📄 paper

🤖 м и ш и н л е р н и н г

Диффузия оптимизирует нейронки

А вот тут вышла статья, где с помощью диффузионной модели заменяют традиционные оптимизаторы типа SGD или ADAM.

На вход поступают текущие веса оптимизируемой нейронки, текущий лосс, желаемый лосс, и параметр шага диффузии. А диффузионная модель предсказывает новые веса нейросети. Ускорение по сравнению с традиционной оптимизацией в ≈1000 раз.

@ai_newz

Открыт набор PhD студентов в New York University

Это там где ЛеКун. Аспирантура в США бесплатная, более того, вам даже будут платить стипендию что-то типа 30к$ в год

Подаваться тут

ИИ-изображения - новый клип-арт.

Microsoft добавляет DALL-E в свой пакет Office, таким образом картинки сгенерированные ИИ скоро появятся в каждой PowerPoint презентации.

Заметка на The Verge

Поддержите канал

Привет! Мне приятно, что так много людей читает мой канал, и как вы могли заметить, я стараюсь обходится почти без рекламы.

С донатов и рекламы я оплачиваю своего психотерапевта, и сейчас у меня осталось ровно на одно занятие.

Если хотите поддержать канал - закиньте денег на Тиньков.

Или с иностранных счетов на Revolut.

Каждому поддержавшему отвечу на вопрос про Долину и жизнь в ней ;)

Кстати, если кто-то хочет помочь мне вести канал - буду очень рад и буду делиться

А тут, наконец, вышел новый выпуск подкаста Deep Learning Stories, который мы записывали в конце августа🙃
#podcast

S01E05: AI в сейсмологии с Артемием Новоселовым

Гость выпуска — Артемий Новоселов, постдок рисерчер в Stanford University и автор канала NN for Science. В Стенфорде Артемий занимается ML в сейсмологии.

Обсудили с Артемием:
- путь Артемия в рисерче: как добраться до Стенфорда;
- что такое землетрясения и какими методами их пытаются предсказывать;
- AI в сейсмологии: как применяется сейчас, какие есть проблемы и какое видится будущее;
- немного о жизненном: о выгорании, мотивации, психологической помощи.

Ссылки на выпуск:
Yandex Music
Apple Music
Google Music
Spotify
Anchor.fm
YouTube (скоро будет, но без видео в этот раз)

—————————————
Поддержать подкаст и канал можно тут

Stanford CS проводит программу поддержки заявок для недопредставленных студентов. Если вы рассматриваете возможность поступления на программу PhD по компьютерным наукам в Стэнфорде, они обещают сделать все возможное, чтобы дать обратную связь по вашему заявлению.

Подайте заявку до 29 октября.

Compressed Vision for Efficient Video Understanding

DeepMind опубликовал интересную статью, с далеко идущими последствиями. Идея довольно простая и элегантная:

У нас есть много длинных видео, работать с ними сложно по ряду причин (long sequences, размер и тп). Так почему бы нам сначала не сжать эти видосы (с помощью нейрокодека), а потом обучать нейросеть уже на сжатых видео?

Так они и поступили. Мне кажется этот подход будет хорошо работать и с другими долгими последовательностями, например со стримами с датчиков.

🌟 Блог-пост
📖 Статья

#CV #compression #pretraining