Лаба Artificial Analysis поделилась интересным отчетом о состоянии ИИ по итогам Q2 2025

Главное: Китай впервые добился почти полного паритета с США. Посмотрите на график наверху: по оси Х здесь время, а по оси Y – качество моделей (усредненный результат по 7 самым популярным бенчмаркам, включая математику и кодинг).

Раньше китайские модели отставали на целое поколение, а теперь отставание по времени релизов почти исчезло: новые сопоставимые модели выходят в течение недель после релизов OpenAI и Google.

Причем китайский рынок работает активнее за счет количества игроков: DeepSeek, Alibaba, ByteDance, Tencent, Moonshot, Zhipu, Stepfun, Xiaomi, Baichuan, MiniMax, 01 AI и другие сейчас сыпят релизами почти каждую неделю.

Особенно, конечно, выделяется последняя R1-0528, которая встала в один ряд с o3, и при этом все еще остается открытой моделью (кстати, про опенсорс и говорить нечего: тут они на абсолютном первом месте – см. график 2).

🔵

Google представили ATLAS – новую архитектуру памяти для LLM

В Google неустанно продолжают работать над увеличением емкости памяти моделей. Не так давно они показывали архитектуру Titan (вот тут наш подробный разбор), а теперь пишут про Atlas – новый подход, в котором память обучается прямо во время инференса.

Немного о проблеме контекста. Обычным трансформерам тяжело масштабироваться на длинные последовательности: с ростом количества токенов потребление памяти увеличивается квадратично, потому что всю информацию приходится хранить одновременно в KV-кэше.

Рекуррентные сетки же от проблем масштабирования не страдают, потому что память у них фиксированного размера. В то же время из-за этой фиксированности они просто-напросто постоянно ничего не помнят.

В Google сделали вот что: они взяли за основу трансформер, но вообще отказались от self-attention и хранения ключей и значений. Вместо этого все вычисления завязаны на обновляемую память (это идея из RNN). То есть:

➖ На входе мы всё ещё получаем токены контекста, для которых рассчитываем запросы, ключи и значения

➖ Но место того, чтобы сохранять каждую пару (k, v) в кэш, мы прямо во время инференса обучаем наш модуль памяти выучивать взаимосвязи между ними. Модуль памяти здесь – это полносвязная MLP, и она обычным градиентным спуском обучается отображать ключи в значения, то есть MLP(k_i) ≈ v_i.

➖ На выходе получается, что у нас нет KV-кэша, но есть нейро-модуль памяти, который на лету выучил все взаимосвязи в текущем контексте.

Работает ли это? Да, лучше чем в трансформерах и Titan. На бечмарке BABILong ATLAS достигает 80%+ точности на длинах до 10 миллионов токенов. Трансформеры на такой длине уже давно окончательно захлебнулись – смотрите график 2. При этом перплексия и точность тоже остаются приличными.

Отличная работа. Прочитать полностью можно здесь