Anthropic рассказали, как несколько их инженеров пол года ради забавы заставляли Claude играть в покемонов

Ранние попытки с Sonnet 3.5 были неудачные (неудивительно, модель же не учили играть в игры). Claude плохо понимал правила и двигался, а однажды даже отправил разработчикам официальный запрос на сброс игры, когда просто случайно застрял в углу.

С Sonnet 3.6 все немного улучшилось, но до хорошего игрока было далековато.

И вот незадолго до релиза в игре испытали Sonnet 3.7. Прогресс оказался невероятный: всего за несколько часов агент победил Брока, а спустя несколько дней – Мисти.

Все благодаря ризонингу: там, где предыдущие модели бесцельно блуждали или застревали в циклах, 3.7 планирует заранее, помнит свои цели, записывает действия и адаптируется, если первоначальные стратегии терпят неудачу. Чем-то похоже на программирование и очень показательно.

Бенчмарки, которые мы заслужили, в общем. Разрабы даже трансляцию на твиче запустили, там можно в онлайне смотреть, как Claude играет

Вышла 12 версия легендарного детектора YOLO

В ней наконец традиционные CNN-модули заменены на гибридные с вниманием. Конкретнее, добавили area attention, которое делит входной тензор на равные сегменты и тем самым снижает квадратичную сложность операций дальнейшей обработки.

Кроме того, схему ELAN заменили на ELAN с остаточными блоками. Так градиенты лучше прикидываются через сеть, и без ущерба для метрик снижается вычислительная сложность.

А если хотите подробнее узнать, что такое ELAN и как вообще работает YOLO, почитайте нашу большую статью «История YOLO». В ней – все о том, что такое детекция, как работала самая первая YOLO, как изменялись следующие, и какие скандалы за этим стояли.

Репозиторий 12 версии (тут статья, код, результаты и пр)

Третий день опенсорса DeepSeek: библиотека DeepGEMM для ускорения умножения матриц

GEMM – это General Matrix Multiplication, обобщённая операция умножения матриц. Вот формула: C=α×A×B+β×C. Здесь A,B,C – матрицы, а альфа и бетта – скаляры.

Если вам кажется, что вы это выражение где-то видели, то вам не кажется. Оно фигурирует в любом учебнике по DL или LLM, потому что лежит в основе большинства преобразований глубокого обучения. В трансформерах это вычислении матриц запросов (Q), ключей (K) и значений (V) для механизма внимания, обычные полносвязные feed-forward слои, расчет эмбеддингов и другое.

DeepSeek большие любители оптимизации и, конечно, они крутят в своих моделях собственную реализацию GEMM, которой сегодня и поделились. Кода, кстати, немного: все реализовано в одном ядре в примерно 300 строк, так что разобраться довольно просто. Основное достоинство – это JIT-компиляция и двухуровневое накопление.

Реализация поддерживает FP8 и подходит и для плотных моделей, и для MoE. Ускорение относительно других популярных оптимизаций – от 1,1x до 2,7x.

github.com/deepseek-ai/DeepGEMM

OpenAI начинает прогрев перед выпуском GPT-4.5: некоторым Pro-пользователям обновленного приложения на Android «случайно» всплыло уведомление с приглашением попробовать модель.

Попробуйте предварительную исследовательскую версию GPT-4.5 — пользователи Pro теперь имеют доступ к нашей новейшей, самой большой модели.

Все указывает на то, что завтра модель действительно выйдет в виде превью для pro-юзеров, а на остальных покатят позже.

Мастхэв: Google совместно с Kaggle снова открыли регистрацию на тот самый бесплатный курс по генеративным моделям

Он пройдет в формате недельного интенсива с 31 марта по 4 апреля. Каждый день – онлайн лекции, домашки, практики + обсуждения в Дискорде.

В программе актуальная база по основным архитектурам глубокого обучения, устройству LLM, векторным базам данных и MLOps. Курс составляли ML-ресерчеры и инженеры из Google.

В конце, кстати, будет еще и проект-соревнование, так что можно заодно залутать медальку Kaggle.

Еще раз: все бесплатно. Для регистрации нужен только Google аккаунт 🍯

Помните, мы рассказывали про диффузионную языковую модель LLaDA?

Так вот подход, кажется, набирает популярность: стартап Inception Labs выпустил «первую большую диффузионную языковую модель коммерческого масштаба»: Mercury Coder.

Если кратко, идея состоит в том, чтобы вместо генерации токенов один за одним генерировать их в произвольном порядке, как бы постепенно расшумляя замаскированную последовательность (подробнее - в нашем разборе LLaDA).

Самое интересное в этом – скорость. Mercury Coder летает в 5-10 раз быстрее, чем LLM текущего поколения. Это примерно 1000 токенов в секунду на обычной H100.

И метрики при этом вполне конкурентноспособные. На Copilot арене Mercury сейчас на втором месте. Это лучше, чем GPT-4o и Gemini 1.5.

Попробовать сетку можно уже сейчас бесплатно: chat.inceptionlabs.ai/

Четвертый день опенсорса от DeepSeek: библиотека DualPipe

Это инструмент для эффективной параллелизации. Что это значит:

1. Минимизация пайплайн-пузырей. Это, иначе говоря, периоды простоя оборудования, когда какие-то процессоры ничего не считают и просто ждут поступления данных.

В данном случае алгоритм позволяет прямой и обратный проход выполнять одновременно, поэтому этапы передачи перекрываются вычислениями, и обучение значительно ускоряется.

2. Симметричное распределение микробатчей в прямом и обратном проходе, чтобы сбалансировать нагрузку.

3. Хранение меньшего количества активаций. Это происходит как раз за счет симметричности: часть активаций сразу используется для обратного распространения, и их можно вычищать из памяти.

Кстати, один из троих разработчиков библиотеки – Лян Вэньфэн, CEO и основатель DeepSeek. Оказывается, он не просто руководит, но и довольно часто сам пишет код.

github.com/deepseek-ai/DualPipe

OpenAI объявили, что через 4.5 часа проведут лайфстрим

Ждем 4.5 часа и встречаем GPT-4.5 (и скрещиваем пальцы, чтобы доступ дали всем)

Я в ожидании стрима OpenAI (он будет тут):

P.S Кстати, сегодня должны были раскатить Advanced Voice на базе GPT-4o mini на всех бесплатных пользователей. У кого появилось?