Совсем не в тему канала, но, ставьте лайк если вчера тоже были на Nazlo Mame 🖤

Ребятаушки, я только переехал в новую страну и пока осваиваюсь. Но думаю что на днях вкачусь в режим уже и буду снова постить качественный контент. Не скучайте :)

HuggingFace запустили свой курс по RL! Судя по скриншотам - это бомба 💣

Курс бесплатный, регистрируют тут

Блез Агуэра-и-Аркас, руководитель группы Google AI в Сиэттле, ставит вопрос ребром: Do large language models understand us? Вопрос лишь на первый взгляд кажется абсурдным, с однозначным ответом, но по ходу чтения его эссе начинаешь все больше задумываться.

Большие языковые модели воплощают идею философского зомби: они работают на статистике и разговаривают [якобы] без понимания. Но этот вопрос не разрешим в каком-либо строгом смысле — Блез показывает, что LLM постоянно моделируют собеседника, ведя нечто вроде внутреннего диалога, генерируя разные ответы и выбирая лучший.

То есть у модели возникает подобие того, что психологи называют «теорией разума», и не ясно, как отличить «настоящее» понимание от «фальшивого».

Рассуждения Блеза заходят на фоне недавних прорывов в машинном обучении, явленных нам в виде DALL-E 2 от OpenAI, создающей картинки по текстовому описанию, и PaLM от Google, умеющей схватывать смысл и контекст беседы.

И на контрасте с недавним эссе Гари Маркуса, CEO компании Robust.AI, Deep Learning Is Hitting a Wall, где он громит любые прорывы, настаивая, что DL не имеет ни малейшего отношения к интеллекту и пониманию. Ян Лекун и другие усмехаются в ответ, приводят Маркусу впечатляющие примеры из DALL-E 2 и PaLM, а тот огрызается в твиттере, называя их сherry picking, и конца у этого сюжета нет.

При всей давней симпатии к Маркусу должен признать, его текст уступает по глубине тексту Агуэра-и-Аркаса.

И немного о трендах. PaLM вмещает 540 млрд параметров, что в три раза больше знаменитой GPT-3, за счет чего результаты в обработке языка резко улучшились. В Китае, используя экзафлопсный суперкомпьютер, создают систему BaGuaLu для обучения модели с 14,5 трлн параметров. Как пишут разработчики, BaGuaLu потенциально «имеет возможность обучать модели с 174 трлн параметров, что превосходит количество синапсов в человеческом мозге».

Мы выпустили лекцию про генеративные модели.

Что такое автоэнкодеры, как работают ганы, что такое CLIP и почему Dall-E 2 это так круто? Все это в лекции

🎥 Смотреть

Ребятушки, написал лонг-рид про подводные камни в публикации научных исследований ML и как их избежать.

Лонг-Рид

Мы выпустили лекцию про обучение с подкреплением.

Не претендуя на глубину, мы объясняем ключевые концепты RL, и показываем в каких областях уже были получены значительные успехи

Лекция 9. Обучение с подкреплением

MoLeR — новая нейронка от Microsoft Research для drug design

Drug design — задача поиска новых химических соединений, которые могут быть использованы для создания новых лекарств. Задача сложная, биологи тратят годы и огромное количество денег на поиск одной такой молекулы. MoLeR — новая модель, которая должна помочь биологам в их работе.

Для разработки MoLeR исследователи из Microsoft сотрудничали с учеными из Novartis — компании, которая занимается поиском новых лекарств. И идея работы MoLeR основана на том, каким способом ученые в реальности пытаются искать новые соединения.

Вот как ищут новые молекулы в лобораториях:
Часто это делает так: сначала медики находят "hit" молекулы — такие, которые обладают хотя бы какими-то свойствами, полезными для создания лекарства против болезни. Как правило, такие молекулы также обладают и рядом плохих свойств, и сразу взять и сделать из них лекарство нельзя. Поэтому медики берут такую hit молекулу и начинают ее testing. Они пытаются вносить в ее структуру небольшие изменения, стараясь найти такие, которые привели бы к увеличению количества положительных свойств молекулы и уменьшению количества отрицательных. Такой процесс может длиться годы и очень сильно зависит от удачи, интуиции и экспертности.

Модель MoLeR основана на этой же идее: на постепенном улучшении базовой структуры известной молекулы, чтобы получить молекулу с желаемыми свойствами.

Вот как устроена модель:
MoLeR — это VAE. Его энкодер и декодер — графовые нейросети (и молекулы, как обычно это делается в таких моделях, представляются в виде графов). Энкодер сжимает входную молекулу в латентное представление, а декодер учится получать молекулу из латентного представления обратно. Обученный декодер, собственно, и будет использоваться для генерации новых молекул. При обучении автоэнкодер учится кодировать в латентном представлении свойства молекулы. Это достигается добавлением еще одной нейросети в тренировочный процесс: она принимает на вход латентный вектор и учится предсказывать по нему свойства молекулы.

Самое интересное — это устройство декодера MoLeR. Чтобы разобраться в его идее, давайте заметим вот что:

Молекулы — это не просто случайные наборы атомов, связанных случайными связями. В молекулах есть структура, и каждая молекула состоит из нескольких связанных между собой структурных единиц. Это примерно как предложения в языке: предложения — это не случайные наборы букв, а наборы более сложных единиц — слов. При этом слова в предложении связываются тоже не случайно, а согласно правилам, структуре.

Так вот, декодер MoLeR — это нейросеть, которая принимает на вход часть молекулы и учится дополнять эту часть новой структурной единицей. Такой, чтобы через несколько этапов генерации получилась молекула с желаемыми свойствами.
Получается, полную молекулу из латентного представления декодер MoLeR генерирует последовательно: сначала генерирует одну структурную единицу, затем, на следующем шаге, дополняет ее второй структурной единицей и так далее. Это похоже на то, как нейросети для машинного перевода генерируют перевод — шаг за шагом, слово за словом.

Почему это круто: такое устройство декодера MoLeR позволяет не только генерировать молекулу с нуля из латентного вектора. Оно еще позволяет подавать декодеру на вход любую часть молекулы и получать на выходе модели дополненную версию. Это значит, что ученые могут взять hit молекулу, выделить из нее ее базовую структуру и подать на вход модели. И на выходе MoLeR получится молекула, имеющая ту же базовую составляющую, что и hit молекула, но с нужными свойствами.

Это свойство модели MoLeR отличает эту нейросеть от тех, что были предложены для решения задачи drug design ранее. Надеемся, это поможет ученым в их работе =)

Подробнее:
Блог Microsoft Research
Статья о Moler

есть кто в Тель Авиве? пишите в комментах, могу живую лекцию организовать

Мы выпустили лекцию про нейрорендеринг и физическое моделирование с помощью нейросетей.

Кажется, на русском на эту тему ещё никто лекцию не делал (могу быть не прав, кидайте ссылки). Поговорили про NeRF, релайтинг, моделирование процессов и ещё много о чем.

Лекция 10. Нейрорендеринг и физическое моделирование

Ребятушки, ну порадуйте меня! Позовите ещё 8 человек

Gato😺 от DeepMind — модель, которая умеет решать сразу кучу задач: language modeling, image captioning, играть в игры, передвигать предметы робо-рукой и т.д.

Идея Gato очень проста. Смотрите, у нас есть GPT-3 — авторегрессионная модель, которая умеет предсказывать следующий токен по входной последовательности. Что если другие задачи — image captioning, RL и т.п.— тоже представить в виде "предскажи следующий токен по предыдущим"?

Например, преобразуем картинки в последовательность токенов, будем подавать их на вход модели и ждать ответ — caption картинки. Иля для RL: представим информацию о состоянии среды и предыдущих действиях агента в виде последовательности. Подадим модели на вход и будем ждать ответ — следующее действие для агента.

Получается, Gato — это GPT-3 для решения сразу 604(‼️) задач, которые представляются в таком виде.

Как информация для разных задач кодируется в последовательности токенов и какие задачи решает Gato, читайте в блоге DeepMind и в статье на arxiv.

Очень интересный тред про пошаговый дизайн промпта для GPT-3. Возможно большие языковые модели гораздо умнее, чем мы думали.

Языковые модели становятся жутковато умными. Чел решил поговорить с Шиншилой (относительно новая Гугловая моделька) на выдуманном языке, и она ему довольно в тему отвечает! Весь тред тут

Чат! AMA: Ask me anything?

Довольно точное описание будущего (ладно уже настоящего) художников в мире Dall-E