Исследователи из лабы SakanaAI предложили новую архитектуру нейросетей, вдохновленную биологическими нейронными процессами – Continuous Thought Machine

Кстати, SakanaAI – это та самая японская лаборатория, выпустившая ИИ-ученого, статья которого прошла рецензирование на ICLR воркшоп. Ну так вот ⬇️

Ключевая фишка CTM (Continuous Thought Machine) в наличии тиков мыслей. Аналогия с мозгом тут в том, что человек на самом деле не получает ответы за один "проход" по нейронам, как это делается, например, в трансформерах.

Живые нейроны активны всё время, через миллисекунды после первого сигнала информация осмысливается глубже, подключаются новые области коры и тд. Это и называется "тик". В нейросетях один тик – это как бы один прямой проход. В трансформерах для получения ответа тик всегда один, а в CTM их может быть и 5, и 10, и 50. Модель сама решает, сколько ей нужно – в зависимости от сложности задачи.

При этом проходы не независимые. Для каждого нейрона мы храним историю пред- и пост-активаций, чтобы он мог «смотреть» на свою динамику на предыдущих тиках. И, кстати, нейроны в CTM тоже необычные. Здесь это не просто сумма взвешенных входов, как в большинстве моделей, а самостоятельный мини-перцептрон (MLP). Все это тоже построено на аналогиях из биологии.

Ну и еще одна ключевая особенность CTM – это синхронизация нейронов. В нейробиологии считается, что важны не столько независимые активации нейронов, сколько то, как и когда они активируются относительно друг друга. Нейроны, чьи осцилляции или пики потенциала происходят синхронно, чаще участвуют в совместной обработке информации.

Поэтому здесь специально вычисляется так называемая матрица синхронизаций. Она показывает скалярные корреляции временных рядов активаций. Самые важные подмножества затем идут либо в слой внимания, либо напрямую проецируются в логиты.

И да, все это вполне прилично (и иногда лучше классических архитектур) работает на классических задачах типа ImageNet-1K, CIFAR-10 и MNIST, а еще модель отлично решает лабиринты.

В общем, работа большая и сложная, но в статье все расписано вполне доходчиво, так что советуем почитать полностью или полистать интерактивный репорт

Код в опенсорсе, кстати

Помните новость о том, что OpenAI планирует резко срезать долю выручки, которую делит с Microsoft?

Так вот теперь вспыли новые подробности о том, что одновременно с этим OpenAI также ведет с теми же Microsoft переговоры о... новом раунде инвестиций 🤑

Да, хорошо устроились. Но это не все. Кажется, что Microsoft (на сегодняшний день, к слову, они инвестировали в OpenAI уже более 13 миллиардов долларов) стоит перед не очень приятным выбором. После реструктуризации OpenAI они могут потерять либо доступ к интеллектуальной собственности стартапа (то есть к моделям), либо долю с выручку.

И, кажется, Microsoft собирается отказаться от второго в пользу первого. Новый контракт с OpenAI, скорее всего, будет похож на тот, который они с Microsoft заключали в 2019, когда гигант только вложил первый миллиард в стартап.

Другими словами, Microsoft, вероятно, почти полностью откажется от доли в новом коммерческом OpenAI просто в обмен на доступ к новым технологиям, которые будут разрабатываться в OpenAI после 2030 года.

Удачно вложились 🫡

Журналисты раскритиковали стиль управления Альтмана на основании того, как он… готовит

Нет, это не шутка. На выходных вышел еженедельный выпуск кулинарного шоу от Financial Times, гостем стал Сэм Альтман. У себя на кухне он вместе с журналистом готовил обычную овощную пасту.

Казалось бы, ничего не предвещало беды. Но вчера у того же FT внезапно вышла статья, в которой они в пух и прах раскритиковали CEO на основании его… кухни. Вот что пишут:

➖ Альтман неправильно использует оливковое масло. Оно у него якобы очень распиаренное и дорогое (21$), но он на нем жарит, а так делать «нельзя». Весь вкус, мол, теряется, и пользы от дорогого продукта становится не больше, чем он самого дешевого.

➖ На кухне стоит кофемашина за 2к долларов. Опять же очень распиаренная но, по словам журналистов, абсолютно бесполезная и глючная. Они называют эту вещь «деньгами на ветер» и «самой глупой покупкой».

➖ Ну и финалочка: журналистов не устроил нож. Он тоже выглядит дорогим и даже сделанным на заказ, но предприниматель «абсолютно не умеет им пользоваться».

В общем, Альтмана обвинили в том, что он транжира, жертва маркетинга и вообще не умеет управлять ни кухней, ни компанией.

«Его кухня – это мир неэффективности и непонимания. Сжигание денег это основа его жизни и его бизнеса»

Вот так и зови к себе журналистов на обед 🤷‍♂️

Большой коспект по LLM от нашей команды 👍

Мы долго трудились и наконец готовы представить вам наш большой авторский конспект по языковым моделям. Почти 50 страниц, 7 разделов и все, что нужно, чтобы понять, как работают современные LLM. Внутри:

➖ Краткая история LLM от перцептрона до ризонинг-моделей
➖ Необходимая математика: линал и матанализ на пальцах
➖ Все про механизм внимания и трансформеры от А до Я
➖ Дотошное объяснения процесса предобучения
➖ Практический гайд "Как самостоятельно затюнить модель"
➖ RL – с нуля до ризонинга

Все – в иллюстрациях, схемах и интуитивно понятных примерах.

Сохраняйте, делитесь с друзьями и ставьте ❤️

Только что заметили, что пост с PDF конспекта почему-то вышел с закрытыми комментариями 🤷‍♂️

Поэтому это – специальный пост с открытыми комментариями для вашей обратной связи. Мы всегда ей рады!