Этого шлифа не существует

Не знаю зачем им это было нужно, но на IMAGE22 ребята из Саудовской Аравии и Колумбии показали нейронку, которая генерирует изображения петрографических шлифов такого качества, что ни один из экспертов не смог отличить их от настоящих. Aрхитектура довольно известная, зовется StyleGAN, широким массам известна в качестве генераторов фейковых, но супер реалистичных изображений (например лиц селебритиз).

Красиво! Вдруг вы петрографов знаете. Вот для них подгон по ссылке:
This thin section doesn’t exist: on the generation of synthetic petrographic datasets

Использование искусственного интеллекта для декодирования речи из активности мозга

В Meta разработали модель ИИ, которая может декодировать речь на основе неинвазивных записей активности мозга.

На основе трех секунд мозговой активности модель может декодировать соответствующие сегменты речи с точностью до 73% от верхнего предела из словарного запаса в 793 слова, т.е. большую часть слов, которые люди обычно используют в повседневной жизни.

В качестве модели используют wav2vec2, в качестве данных ЭЭГ и МЭГ (более 150 часов записей 169 здоровых добровольцев, слушавших аудиокниги и изолированные предложения на английском и голландском языках).

Результаты исследования показывают, что self-supervised learning (#SSL) может успешно декодировать воспринимаемую речь на основе неинвазивных записей активности мозга, несмотря на шум и изменчивость, присущие этим данным.

📇 блог-пост
📖 статья

Приезжайте в Стэнфорд на пост-док!

Ребята, я уже рассказывал, что в Стэнфорде открывается новая огромная школа Устойчивого развития (School of Sustainability) на базе инженерной школы и школы Земли.

В связи с этим Стэнфорд будет набирать 30 пост-доков на программы, связанные с устойчивым развитием и новыми прорывами в источниках зелёной энергии.

Все это называется Stanford Energy Postdoctoral Fellowship. Зарплата $85К в год + $8К на конференции и прочие научные расходы + местные бенефиты типа страховки. По местным меркам немного, но деньги здесь не самое главное.

Подать заявку тут, описание тут

Условия уникальные. Нам тут очень не хватает родных лиц из стран бывшего СССР.

P.S. PhD only

А мы наконец открываем набор на осенний семестр школы глубокого обучения Deep Learning School!
#learning

DLschool — это школа при ФПМИ МФТИ, где мы учим нейронным сетям с самых азов до продвинутого уровня. Полный курс состоит из двух частей, каждая из которых длится полгода.
- Первая часть посвящена введению в нейросети и компьютерному зрению. Начинаем мы с языка Python и необходимой математики для понимания нейросетей, переходим к основам машинного обучения и обработки картинок, заканчиваем переносом стиля изображений и ГАНами.
- Вторая часть полностью посвящена темам NLP и обработки звука.

Две части курса можно проходить независимо. Можно пройти только первую часть или только вторую. Но обратите внимание, что для прохождения второй части нужно знать Python, понимать математику и основы нейросетей, о которых мы рассказываем в первой части курса.

Особенность нашей школы в том, что мы даем много практики (теория при этом тоже есть, разумеется, и немало). Вам предстоит много практических домашних заданий и самостоятельный итоговый проект в конце семестра. По окончании обучения вы точно получите нужные практические навыки работы с нейросетями.

Сейчас идет набор на первую часть курса. На вторую часть набор откроется чуть позже, об этом сообщу отдельно.

Преподаватели школы — ведущие специалисты российских и зарубежных IT-компаний и научные сотрудники исследовательских лабораторий МФТИ. Среди них — я (Таня), буду вести у вас несколько лекций про CV, сегментацию и архитектуры сетей =)

Школа бесплатная. Полностью онлайн: учиться можно из любой точки мира, где есть интернет. Занятия проходят раз в неделю — лекция, семинар и домашнее задание. Обучение проходит на платформе Stepik. Берем всех, отбора нет.

Начинаем 19 сентября. Регистрация продлится до 18 сентября. Чтобы зарегистрироваться на курс, отсавьте заявку на этой странице. После этого вам на почту придет письмо со ссылками на курс на Степике, на канал и чат в Телеграме.

При регистрации вам нужно выбрать поток — базовый или продвинутый. Как выбрать свой поток, читайте на сайте в разделе FAQ. Также у нас есть группа школы ВКонтакте — там очень удобно следить за новостями.

Ответы на самые часто задаваемые вопросы по курсу вы также можете найти на сайте в разделе FAQ. Если остались вопросы, спрашивайте в комментариях к этому посту ⬇️ Постараюсь ответить на все. Также если в канале есть выпускники наших прошлых потоков, буду благодарна, если вы поделитесь своим опытом прохождения курса и поможете отвечать на вопросы =)

Ну и ждем вас в чатиках наших курсов в новом семестре!🥰

P.S. Обратите внимание, что у школы сменился адрес сайта. Новый адрес: dls.samcs.ru

MEG-MASC: a high-quality magneto-encephalography dataset for evaluating natural speech processing

Набор данных "MEG-MASC" представляет собой набор необработанных записей магнитоэнцефалографии (МЭГ) 27 носителей английского языка, которые слушали два часа различных историй.

Каждый участник выполнил две одинаковые сессии, включающие прослушивание четырех вымышленных историй из аннотированного вручную подкорпуса (MASC), перемежающихся со случайными списками слов и вопросами на понимание. В метаданных записи авторы датасета даже отметили время начала и смещения каждого слова и фонемы и организовали набор данных в соответствии со "Структурой данных визуализации мозга" (BIDS).

Этот набор данных проводить крупномасштабный анализ кодирования и декодирования темпорально-пространственных реакций мозга на речь.

Код и данные
Статья

Last Week Tonight with John Oliver сделали целый выпуск с генерациями в Midjourney

И в этом видео открывается самая интересная часть text2image моделей, они позволяют быстро визуализировать креатив, создавая новый юмор.

Нейростендапы на подходе, когда смешной текст буквально за секунды превращается в визуализацию.

Возвращаясь к шоу, здесь показаны не только лучшие работы, которые отобрались с John Oliver, но и самая дикая идея превратилась в готовую юмористическую сцену.

Полный выпуск

Digitizing Smell: Using Molecular Maps to Understand Odor

Запахи - это молекулы, которые распространяются по воздуху, попадают в наш нос и связываются с рецепторами. Потенциально миллиарды молекул могут производить запах, поэтому определить, какие из них производят тот или иной запах, очень сложно.

Сенсорные карты могут помочь нам решить эту проблему. Для зрения такие карты существуют (например цветовой круг). Для обоняния, таких карт не существовало до 2019 года, потому что обоняние - более сложная проблема (чем зрение).

Исследователи из Гугла представили "Принципиальную карту запахов" (Principal Odor Map, POM), которая идентифицирует векторное представление каждой пахучей молекулы в пространстве эмбедингов как 1 точку в высокоразмерном пространстве. Пары схожих запахов соответствуют 2 близлежащим точкам в POM (по аналогии, красный цвет ближе к оранжевому, чем к зеленому на цветовом круге). Таким образом, POM позволяет предсказывать и открывать новые запахи и молекулы, которые их производят.

Блог-пост

Нубский вопрос про MySQL:

Последние 2 дня я экстренно пытаюсь разобраться с тем что такое sql и как его правильно употреблять.

У меня есть пара сотен гигабайт дампов из MySQL (в разных файлах). Задача - загрузить их в базу данных и потом оттуда извлекать нужные мне данные для последующей обработки в питоне.

Я попробовал создать новую базу данных, и туда грузить дампы по очереди, но прошло уже 10 часов, а у меня 10 гиговый файл все ещё грузится.

Использовал команду

mysql -u user -p DB < dump.sql

Все осложняется тем, что сервер на самом деле MariaDB (а не MySQL), но зато на суперкомпьютере, так что вроде IO и ресурсы должны быть не проблема, но знать бы ещё как их включить (со стороны mysql)

Pre-Train Your Loss

Глубокое обучение все больше пользуется парадигмой transfer learning, при которой большие базовые (или как у нас их тут в Стенфорде называют - фундаментальные) модели дообучаются на последующих задачах.

Впечатляющий коллектив авторов, под руководством Вилсона (со-автор таких проектов как loss landscape и SWA) и ЛеКуна, показывает, что можно изучить высокоинформативный posterior исходной задачи с помощью supervised или self-supervised learning, которые затем служат основой для priors, изменяющих всю поверхность потерь в последующей задаче.

Этот простой модульный подход обеспечивает значительный прирост производительности и более эффективное обучение на различных последующих задачах классификации и сегментации, выступая в качестве замены стандартных стратегий предварительного обучения.

📖 статья 🤖 код

В качестве небольшого бонуса на мой первый месяц работы в Стэнфорде, меня позвали на конференцию SCEC (про землетрясения) в Palm Springs, CA. Американские конференции мне нравятся намного больше европейских. И мексиканская еда в Южной Калифорнии просто огонь! И тут столько интересных людей и возможностей с ними поговорить!

Постараюсь в следующие пару дней осветить самые интересные работы по DL в сейсмологии.

PyTorch Foundation: Новая эра для фреймворка

Чтобы ускорить прогресс в области ИИ, PyTorch переходит в новый, независимый фонд PyTorch Foundation под эгидой Linux Foundation.

Проект присоединится к Linux Foundation в совет которого входят представители AMD, Amazon Web Services, Google Cloud, Meta, Microsoft Azure и Nvidia. PyTorch Foundation будет поддерживать PyTorch посредством конференций, учебных курсов и других инициатив.

Фонд будет демократизировать современные инструменты, библиотеки и другие компоненты, чтобы сделать эти инновации доступными для всех.

PyTorch Foundation сосредоточится на бизнесе и маркетинге продуктов PyTorch и связанной с ним экосистемы. Переход не повлечет за собой никаких изменений в коде и ядре проекта PyTorch.

Meta продолжит инвестировать в PyTorch и использовать его в качестве основного фреймворка для исследований и производственных приложений ИИ в компании.

Логотипы популярных компаний перерисованные с помощью ИИ.

Источник

Ml Dad jokes (Durk автор ADAM оптимизатора)

Multimodal Lecture Presentations (MLP)

Вышел набор данных для тестирования возможностей моделей машинного обучения в мультимодальном понимании образовательного контента. Для проверки понимания мультимодальной информации на слайдах лекций представлены две исследовательские задачи, которые должны стать первым шагом к разработке ИИ, способного объяснять и иллюстрировать слайды лекций: автоматический поиск (1) устных объяснений к рисунку (Figure-to-Text) и (2) иллюстраций, сопровождающих устное объяснение (Text-to-Figure).

Идеально, мне как раз не хватает рук и людей делать лекции, заменим ка мы их нейроночкой через пару лет 😀

📖 Датасет

Просто взрывной разговор о природе изучения нейробиологии и глубокого обучения.

Даже не буду пытаться пересказать, просто следите за руками:

https://youtu.be/9PMjEOPUTV8

Суперпозиция в нейронных сетях

Очень крутая статья про суперпозицию в нейронных сетях. Оказывается, нейросети могут кодировать больше информации, чем напрямую в эмбеингах. И они достигают это с помощью суперпозиции (которая пока не ясно что именно, но ребята нашли две подходящие теории в математике).

Авторы статьи строят предположение, что возможно наши нейросети на самом деле значительно больше чем мы думали.

Лучше полистайте их картинки и станет яснее.

Статья

Я наонец -то добрался!

Это просто великолепно! Посмотрите выпуск Джона Оливера про Stable Diffusion

*Introducing Whisper*

OpenAI обучили нейронную сеть под названием Whisper, которая по надежности и точности распознавания английской речи приближается к человеческому уровню.

Что удивительно, так это то, что раз в год и OpenAI - open. Они выложили модель в открытый доступ.

Whisper - это система автоматического распознавания речи (ASR), обученная на 680 000 часов многоязычных и многозадачных данных, собранных из Интернета. Исследователи показывают, что использование такого большого и разнообразного набора данных позволяет повысить устойчивость к акцентам и фоновому шуму. Более того, система позволяет осуществлять транскрипцию на нескольких языках, а также перевод с этих языков на английский.

🧑‍💼 Статья - https://cdn.openai.com/papers/whisper.pdf

👨🏻‍💻 Код - https://github.com/openai/whisper

👨🏻‍✈️ Демо - https://huggingface.co/spaces/openai/whisper

P.S.: что-то случилось с кнопками оформления в телеге. Возможно случился iOS 16

На ICLR-2022 была, оказывается, такая интересная работа: авторы показали, что принцип работы Transformer’ов (с небольшим дополнением) схож с принципом работы гиппокампа и энторинальной коры головного мозга человека.
(Автор работы, если что, Ph.D. по computational/ theoretical neuroscience из Stanford и Oxford. Понимает, о чем говорит)

Подробнее:
Гиппокамп и энториальная кора мозга вместе отвечают за память, восприятие времени и пространства. Энториальная кора является “шлюзом” для гиппокампа: она обрабатывает поступающую в гиппокамп и исходящую из него информацию. Гиппокамп же обрабатывает и структурирует все виды памяти: краткосрочную, долгосрочную, пространственную.
То есть, связка “гиппокамп + энторинальная кора” (EC-hippocampus) играют важную роль при решении человеком задач, связанных с пространственным восприятием.

Как показали, почему Transformer “похож” на EC-hippocampus: авторы статьи взяли Transformer и обучили его на простую задачу, в которой нужно выдавать ответ, имея в виду текущее пространственно положение. Архитектура Transformer была стандартная с парой небольших отличий в формуле для attention и position encodings. Вычисление position encodings было изменено так, что стало обучаемым.

После обучения модели ученые посмотрели на “пространственную карту весов position encodings”. Карта составляется просто: для каждого пространственного положения из задачи, которую учил Tranformer, вычисляется средняя активация position encodings. Так вот, оказалось, что эта карта структурно схожа с той, что получается из активаций нейронов в EC-hippocampus

Но это еще не все: только такая “похожесть” карт активаций нейронов в мозге и модели недостаточно убедительна. Авторы статьи так же показали следующее: архитектура Transformer эквивалентна математической модели EC-hippocampus, которую нейробиологи построили не так давно и активно используют. Эта матмодель называется TEM (Tolman-Eichenbaum Machine), и она хорошо описывает основные процессы, происходящие в EC-hippocampus. TEM — обучаемся модель, которая при обучении должна имитировать процессы, происходящие в EC-hippocampus.

Так вот, упомянутый выше модифицированный Transformer, оказывается, имеет аналогичное с TEM устройство. Аторы назвали такой трансформер TEM-t. В статье авторы показывают аналогии между отдельными компонентами Transformer и TEM. В частности, “модель памяти” TEM оказывается эквивалентной self-attention из Tranformer.
Более того, авторы заявляют, что TEM-t может служить более эффективной моделью EC-hippocampus, чем существующий TEM: он гораздо быстрее обучается, имеет больший потенциал по памяти (может “запоминать” и “вытаскивать” больше бит памяти). Также плюсом является то, что пространственная карта весов position encodings трансформера похожа на такую карту из мозга (о чем писала выше).

Подробнее об устройстве TEM, TEM-t, экспериментах и о том, какое значение это имеет для нейробиологии — в статье. А еще там есть описание того, как архитектура Transformer может быть реализована на биологических нейронах. Блин, а вдруг какие-то части нашего мозга — это реально transformer’ы?)

Еще ссылка: статья в Quantamagazine об этой работе

P.S. Надеюсь, я нигде сильно не наврала. Все же в вопросах устройства мозга и подобном я дилетант. Feel free поправлять меня в комментариях
#ai_inside