Google снова пытаются изобрести альтернативу трансформерам: на этот раз они показали новую архитектуру Mixture-of-Recursions

Идея: рекурсивно переиспользовать одни и те же слои для повторной обработки некоторых токенов. На каждой новой итерации мы оставляем только те токены, которые требуют дополнительного рассмотрения. Получается какой-то новый вид ризонинга, при этом модель несколько раз думает только над наиболее сложными частями ответа, экономя компьют.

Теперь о том, как это работает:

➖ У нас есть стек слоев обычного трансформера, которые мы хотим переиспользовать несколько раз. Для каждого токена принимается решение: выпустить его сейчас или продолжить обрабатывать. Чем больше номер итерации – тем меньше токенов в ней остается. В конце получается, что над самыми сложными частями модель думала много раз, а над самыми простыми – один или пару.

➖ Есть варианты, как шерить слои (скрин 5). Можно в каждой итерации оставлять идентичные блоки вообще без изменений, а можно вставлять уникальные первый и последний слой, а середину оставлять одинаковой. В статье показали, что вторая вариация работает приятнее.

➖ Аналогично, можно по-разному решать, сколько итераций пройдет каждый токен (скрин 4). Вариант первый: в самом начале с помощью классификатора назначать каждому токену число N его итераций. Вариант два: в начале каждой итерации вставлять роутер, который будет решать, кто пойдет дальше. В первом случае обучение чуть стабильнее, но и там и там – свои танцы с бубном регуляризациями.

Ну и да, за счет того, что KV кэш мы не пересчитываем, вся эта архитектура остается достаточно эффективной. Например, по сравнению с ванильным трансформером, MoR: (1) выбивает те же метрики с в два раза меньшим числом параметров; (2) в два раза бодрее на инференсе; (3) снижает потребление FLOPs на 25 % на тех же объемах данных.

Получается довольно симпатичный баланс, и в статье даже пишут, что это новая Парето-оптимальность для трансформерных архитектур: и затраты, и качество оказываются одновременно лучше предшественников (скрин 6).

Радуемся и очень ждем уже на проде

Код | Статья

⚡️ OpenAI показали ChatGPT agent

Это Deep Research и Operator в одном флаконе. То есть агент, который сможет просматривать веб-страницы (мультимодально, в отличие от Deep Research), вызывать API и другие инструменты, выполнять какие-то задачи и все это – с ризонингом.

Особенный упор – на вызов инструментов, говорят специально обучали агента пользоваться разнообразными тулзами с помощью RL. Создает диаграммы, презентации, таблицы, генерирует картинки, может залогиниться на сайте, использовать терминал и почту, сделать комит и прочее.

Результат на Humanity’s Last Exam – 42%. Это очень серьезный прирост относительно o3 и даже Deep Research. На Frontier Math тоже заметен скачок.

Кстати, под капотом не o3 и не o4-mini, а какая-то новая модель, обученная специально под agent mode и computer use.

Вопреки ожиданиям, раскатали агента не только для Pro подписчиков за 200$. Доступ дадут и обычным пользователям с Plus, лимиты – 40 запросов в месяц (терпимо).

Нравится 😄