🥑😈 DALL•E 2: Hierarchical Text-Conditional Image Generation with CLIP Latents

2021 год показал, что contrastive модели, такие как CLIP, выучивают качественное пространство визуальных и текстовых репрезентаций.

Ресерчеры из OpenAI решили использовать эти репрезентации для генерации изображений! Встречайте двухэтапную модель DALL•E 2, которая которая скрещивает диффузионный декодер и диффузионную визуальную модель DALL-E (ребята, кстати, показали, что диффузия таки более вычислительно выгодная и качественная нежели авторегрессия) и контрастный CLIP!

🧪 Если проще, то это очень изящный вариант, чтобы скрестить CLIP и DALL•E, где можно пользоваться векторам (эммбедингами) CLIP’a, и создавать новые изображения на основании и изображений примеров (доноров) и текстовых описаний. Такой подход позволяет не только генерировать превосходные изображения, но и изменять существующие!

📰 paper 🎓 OpenAI Blog

Заметил, что в фильме The Bubble используют DeepFake лица (в сцене где главные герои упарываются, примерно 90ая минута). Фильм так себе, но прикольно что наши нердовые игрушки проникают в мэйнстримное кино.

Мой коллега написал статью про RL в финтехе. Что думаете?
https://link.medium.com/pqXeGrJ23ob

Modern applications of machine learning in quantum sciences

В обзоре даётся исчерпывающее представление о последних достижениях в применении методов машинного обучения к квантовым наукам (если так можно выразиться). Авторы рассказывают об использовании глубокого обучения и методов supervised, self-supervised и reinforcement learning для классификации фаз, представления квантовых состояний многих тел, управления квантовой обратной связью и оптимизации квантовых схем.

Кроме того, авторы вводят и обсуждают более специализированные темы, такие как дифференцируемое программирование, генеративные модели, статистический подход к машинному обучению и квантовое машинное обучение.

📕Обзор

#ScientificML #physics

Learning inverse folding from millions of predicted structures

В Фэйсбук тоже решили увлечься биологией. Они рассматривают проблему предсказания последовательности белка по координатам его атомов (по его форме).

Для решения этой задачи выпустили модель обратного сворачивания белка (inverse protein folding).

Модель обучена на 12 миллионах белковых структур, предсказанных AlphaFold2.

🎮 Colab
🐙 Git
📎 Статья

#ScientificML #biology

Вышла моя лекция про GPT.

В самом начале поговорили про AlphaFold, а потом в самых общих словах посмотрели, как работает GPT. Но больший упор мне все таки хотелось сделать на «широту контекста» применений (в том числе и в науке).

🎥 Лекция 7. GPT

Офигенный видос, про то, как датасаентисту одна дама отказала в свидании, потому что она “Not into geeks”.
Предупреждаю, застревает в голове: «Oh, I love it when you call me Big Data”

Hag Pessah Sameah!

Совсем не в тему канала, но, ставьте лайк если вчера тоже были на Nazlo Mame 🖤

Ребятаушки, я только переехал в новую страну и пока осваиваюсь. Но думаю что на днях вкачусь в режим уже и буду снова постить качественный контент. Не скучайте :)

HuggingFace запустили свой курс по RL! Судя по скриншотам - это бомба 💣

Курс бесплатный, регистрируют тут

Блез Агуэра-и-Аркас, руководитель группы Google AI в Сиэттле, ставит вопрос ребром: Do large language models understand us? Вопрос лишь на первый взгляд кажется абсурдным, с однозначным ответом, но по ходу чтения его эссе начинаешь все больше задумываться.

Большие языковые модели воплощают идею философского зомби: они работают на статистике и разговаривают [якобы] без понимания. Но этот вопрос не разрешим в каком-либо строгом смысле — Блез показывает, что LLM постоянно моделируют собеседника, ведя нечто вроде внутреннего диалога, генерируя разные ответы и выбирая лучший.

То есть у модели возникает подобие того, что психологи называют «теорией разума», и не ясно, как отличить «настоящее» понимание от «фальшивого».

Рассуждения Блеза заходят на фоне недавних прорывов в машинном обучении, явленных нам в виде DALL-E 2 от OpenAI, создающей картинки по текстовому описанию, и PaLM от Google, умеющей схватывать смысл и контекст беседы.

И на контрасте с недавним эссе Гари Маркуса, CEO компании Robust.AI, Deep Learning Is Hitting a Wall, где он громит любые прорывы, настаивая, что DL не имеет ни малейшего отношения к интеллекту и пониманию. Ян Лекун и другие усмехаются в ответ, приводят Маркусу впечатляющие примеры из DALL-E 2 и PaLM, а тот огрызается в твиттере, называя их сherry picking, и конца у этого сюжета нет.

При всей давней симпатии к Маркусу должен признать, его текст уступает по глубине тексту Агуэра-и-Аркаса.

И немного о трендах. PaLM вмещает 540 млрд параметров, что в три раза больше знаменитой GPT-3, за счет чего результаты в обработке языка резко улучшились. В Китае, используя экзафлопсный суперкомпьютер, создают систему BaGuaLu для обучения модели с 14,5 трлн параметров. Как пишут разработчики, BaGuaLu потенциально «имеет возможность обучать модели с 174 трлн параметров, что превосходит количество синапсов в человеческом мозге».

Мы выпустили лекцию про генеративные модели.

Что такое автоэнкодеры, как работают ганы, что такое CLIP и почему Dall-E 2 это так круто? Все это в лекции

🎥 Смотреть

Ребятушки, написал лонг-рид про подводные камни в публикации научных исследований ML и как их избежать.

Лонг-Рид

Мы выпустили лекцию про обучение с подкреплением.

Не претендуя на глубину, мы объясняем ключевые концепты RL, и показываем в каких областях уже были получены значительные успехи

Лекция 9. Обучение с подкреплением

MoLeR — новая нейронка от Microsoft Research для drug design

Drug design — задача поиска новых химических соединений, которые могут быть использованы для создания новых лекарств. Задача сложная, биологи тратят годы и огромное количество денег на поиск одной такой молекулы. MoLeR — новая модель, которая должна помочь биологам в их работе.

Для разработки MoLeR исследователи из Microsoft сотрудничали с учеными из Novartis — компании, которая занимается поиском новых лекарств. И идея работы MoLeR основана на том, каким способом ученые в реальности пытаются искать новые соединения.

Вот как ищут новые молекулы в лобораториях:
Часто это делает так: сначала медики находят "hit" молекулы — такие, которые обладают хотя бы какими-то свойствами, полезными для создания лекарства против болезни. Как правило, такие молекулы также обладают и рядом плохих свойств, и сразу взять и сделать из них лекарство нельзя. Поэтому медики берут такую hit молекулу и начинают ее testing. Они пытаются вносить в ее структуру небольшие изменения, стараясь найти такие, которые привели бы к увеличению количества положительных свойств молекулы и уменьшению количества отрицательных. Такой процесс может длиться годы и очень сильно зависит от удачи, интуиции и экспертности.

Модель MoLeR основана на этой же идее: на постепенном улучшении базовой структуры известной молекулы, чтобы получить молекулу с желаемыми свойствами.

Вот как устроена модель:
MoLeR — это VAE. Его энкодер и декодер — графовые нейросети (и молекулы, как обычно это делается в таких моделях, представляются в виде графов). Энкодер сжимает входную молекулу в латентное представление, а декодер учится получать молекулу из латентного представления обратно. Обученный декодер, собственно, и будет использоваться для генерации новых молекул. При обучении автоэнкодер учится кодировать в латентном представлении свойства молекулы. Это достигается добавлением еще одной нейросети в тренировочный процесс: она принимает на вход латентный вектор и учится предсказывать по нему свойства молекулы.

Самое интересное — это устройство декодера MoLeR. Чтобы разобраться в его идее, давайте заметим вот что:

Молекулы — это не просто случайные наборы атомов, связанных случайными связями. В молекулах есть структура, и каждая молекула состоит из нескольких связанных между собой структурных единиц. Это примерно как предложения в языке: предложения — это не случайные наборы букв, а наборы более сложных единиц — слов. При этом слова в предложении связываются тоже не случайно, а согласно правилам, структуре.

Так вот, декодер MoLeR — это нейросеть, которая принимает на вход часть молекулы и учится дополнять эту часть новой структурной единицей. Такой, чтобы через несколько этапов генерации получилась молекула с желаемыми свойствами.
Получается, полную молекулу из латентного представления декодер MoLeR генерирует последовательно: сначала генерирует одну структурную единицу, затем, на следующем шаге, дополняет ее второй структурной единицей и так далее. Это похоже на то, как нейросети для машинного перевода генерируют перевод — шаг за шагом, слово за словом.

Почему это круто: такое устройство декодера MoLeR позволяет не только генерировать молекулу с нуля из латентного вектора. Оно еще позволяет подавать декодеру на вход любую часть молекулы и получать на выходе модели дополненную версию. Это значит, что ученые могут взять hit молекулу, выделить из нее ее базовую структуру и подать на вход модели. И на выходе MoLeR получится молекула, имеющая ту же базовую составляющую, что и hit молекула, но с нужными свойствами.

Это свойство модели MoLeR отличает эту нейросеть от тех, что были предложены для решения задачи drug design ранее. Надеемся, это поможет ученым в их работе =)

Подробнее:
Блог Microsoft Research
Статья о Moler

есть кто в Тель Авиве? пишите в комментах, могу живую лекцию организовать

Мы выпустили лекцию про нейрорендеринг и физическое моделирование с помощью нейросетей.

Кажется, на русском на эту тему ещё никто лекцию не делал (могу быть не прав, кидайте ссылки). Поговорили про NeRF, релайтинг, моделирование процессов и ещё много о чем.

Лекция 10. Нейрорендеринг и физическое моделирование