100-страничный обзор про память агентов с кучей красивых картинок. С таким добром и комикс не нужен!

Memory in the Age of AI Agents: A Survey
Yuyang Hu, Shichun Liu, Yanwei Yue, Guibin Zhang, Boyang Liu, Fangyi Zhu, Jiahang Lin, Honglin Guo, Shihan Dou, Zhiheng Xi, Senjie Jin, Jiejun Tan, Yanbin Yin, Jiongnan Liu, Zeyu Zhang, Zhongxiang Sun, Yutao Zhu, Hao Sun, Boci Peng, Zhenrong Cheng, Xuanbo Fan, Jiaxin Guo, Xinlei Yu, Zhenhong Zhou, Zewen Hu, Jiahao Huo, Junhao Wang, Yuwei Niu, Yu Wang, Zhenfei Yin, Xiaobin Hu, Yue Liao, Qiankun Li, Kun Wang, Wangchunshu Zhou, Yixin Liu, Dawei Cheng, Qi Zhang, Tao Gui, Shirui Pan, Yan Zhang, Philip Torr, Zhicheng Dou, Ji-Rong Wen, Xuanjing Huang, Yu-Gang Jiang, Shuicheng Yan
Статья: https://arxiv.org/abs/2512.13564
Ревью: https://arxiviq.substack.com/p/memory-in-the-age-of-ai-agents
Репа: https://github.com/Shichun-Liu/Agent-Memory-Paper-List

# TL;DR

ЧТО сделали: Авторы предложили всеобъемлющую таксономию Памяти Агентов (Agent Memory). Они отказались от классической дихотомии «кратковременная/долговременная память» в пользу структурированного фреймворка, определяемого через Формы (токены, параметры, латентная), Функции (фактическая, опытная, рабочая) и Динамику (формирование, эволюция, поиск). Работа чётко отделяет память агента от смежных концепций вроде RAG или инженерии контекста, предлагая чертёж для саморазвивающихся систем.

ПОЧЕМУ это важно: По мере того как LLM-агенты переходят от простых ответов на вопросы к длительным автономным задачам, отсутствие у базовых моделей состояния (их stateless-природа) становится критическим узким местом. Статья важна тем, что формализует память не просто как буфер для хранения данных, а как активный, самооптимизирующийся когнитивный субстрат. Это необходимо для непрерывного обучения (continual learning) и самоэволюции без непомерных затрат на постоянное переобучение модели.

Подробнее: https://xn--r1a.website/gonzo_ML_podcasts/1760

Статья, которую я точно разбирать не буду, ни вручную, ни автоматом (она ещё и за пейволлом). Практическая, наверное даже полезная, но оценить не могу, их таких уже миллион, и я не знаю, лучше ли она предыдущих сколь-нибудь заметно.

Но. В целом именно вот такие вот продукты и меняют жизнь среднего пользователя к лучшему, в каждой из узких ниш. Опять же, не про эту конкретную статью речь, от неё до полезного продукта может быть ещё и очень далеко, она скорее как пример. Классно, что сейчас в целом практически любой человек может собрать что-то подобное. Не сравнить с доступностью технологий даже десять лет назад. What a time to be alive!

Explainable Artificial Intelligence with Deep Convolutional Neural Networks for Real-Time Image-Based Yoga Posture Recognition in Fitness Training
https://link.springer.com/article/10.1007/s00354-025-00310-8

Но на самом деле я просто картинку хотел расшарить :)

В IEEE Spectrum прикольная статья про то, как LLM меняют современные лэптопы:
https://spectrum.ieee.org/ai-models-locally

С необходимостью локального инференса моделей старые подходы требуют переосмысления. Например, разделение на системную память и видеопамять, связанные через не самую быструю шину.

Современный ноутбук для LLM (или ноутбук ближайшего будущего) — это ноутбук с большим объёмом консолидированной быстрой памяти, отдельным NPU — теперь у нас уже совсем гетерогенная система, включающая CPU, GPU и NPU (вспоминаются старые времена, когда математический сопроцессор был отдельным девайсом и ставился рядом с основным, типа Intel 80286/287), работающие совместно, а в идеале ещё и на общем чипе, чтобы укоротить физические пути к памяти и между собой, и с умным управлением потребляемой мощностью.

Я когда-то создавал большие посты про железо для deep learning, у меня были отдельные секции про CPU , GPU и ASIC. По-хорошему, конечно, надо написать современные версии про это всё, тут и TPU уже 7-й версии, а там только 4-й, и GPU несколько поколений сменилось, и в CPU интересные вещи творятся.

Например, у AMD прикольный топовый 4нм чип AMD Ryzen™ AI Max+ 395 c 16 ядрами Zen5 (и 32 тредами), частотой до 5.1 ГГц, до 128 Гб 256-bit LPDDR5x памяти, с графикой Radeon 8060S Graphics (которая вроде бьёт отдельную 3060 или ноутовую 4060) и, самое интересное, со встроенным NPU в 50 TOPS (в сочетании со всем остальным 126 TOPS) и всего 55 Вт потребления. Производительность конечно далека от ~3300 TOPS у 5090, но ведь и энергии жрёт в десять раз меньше, и дешевле.

Я видел комменты на реддите, где народ пишет, что запускает на машинах с этим процом gpt-oss-120b на 40+ токенов в секунду и оно под нагрузкой жрёт меньше энергии, чем другие их сервера при простое.

На этом же чипе от AMD есть прикольный EVO-X2 от GMKtec , который на инференсе сравним (где-то лучше, где-то хуже) с NVIDIA DGX Spark.

В серверных процессорах тоже вроде что-то интересное происходит и у Интела, и у АМД. Прикольный движ.

DeepMind выпустил новую T5Gemma 2, построена по старому рецепту (конвертируем декодер-only в энкодер-декодер), теперь на базе Gemma 3 (старая версия была на Gemma 2). Я бы назвал, конечно, T5Gemma 3 во избежание путаницы :) Из интересного, сделали архитектурное изменение в блоке внимания декодера — теперь там один объединённый блок вместо двух ранее (cross-attention + self-attention).

Короче, зачётная тема. Энкодер-декодеры начинают рулить. Если вы забыли или не знали, в чём разница, то я собрал краткое введение в своём недавнем посте.

Ещё хочу сказать, что автообзоры дошли до вполне достойного уровня. Статья про T5Gemma из той группы, которую я бы разобрал вручную. Но после авторазбора мне тут добавить уже особо нечего, он вполне хороший и заменяет то, что я сделал бы вручную. Добавочная ценность теперь скорее в мета-анализе и размышлениях за пределами статьи как таковой.

T5Gemma 2: Seeing, Reading, and Understanding Longer
Biao Zhang, Paul Suganthan, Gaël Liu, Ilya Philippov, Sahil Dua, Ben Hora, Kat Black, Gus Martins, Omar Sanseviero, Shreya Pathak, Cassidy Hardin, Francesco Visin, Jiageng Zhang, Kathleen Kenealy, Qin Yin, Olivier Lacombe, Armand Joulin, Tris Warkentin and Adam Roberts
Статья: https://arxiv.org/abs/2512.14856
Ревью: https://arxiviq.substack.com/p/t5gemma-2-seeing-reading-and-understanding
Модель: https://huggingface.co/collections/google/t5gemma-2

# TL;DR

ЧТО сделали: Исследователи из Google DeepMind представили T5Gemma 2 — семейство моделей (270M, 1B, 4B) архитектуры энкодер-декодер, собранных на базе чекпоинтов decoder-only модели Gemma 3. Авторы расширили рецепт адаптации для поддержки мультимодальных входов (через SigLIP) и длинного контекста (до 128k токенов), попутно внедрив оптимизации вроде связанных эмбеддингов (tied embeddings) и объединенного внимания (merged attention), что сократило количество параметров на ~10% без потери качества.

ПОЧЕМУ это важно: Работа бросает вызов тотальному доминированию decoder-only архитектур (типа LLaMA или GPT). Она доказывает, что энкодер-декодеры обладают лучшими индуктивными смещениями (inductive biases) для моделирования длинного контекста и мультимодального поиска. Это готовый блюпринт по эффективной конвертации мощных каузальных LLM в двунаправленные модели, которые умеют глубоко «вчитываться» в объемный контекст перед генерацией, что критически важно для RAG и сложных пайплайнов работы с документами.

Подробнее: https://xn--r1a.website/gonzo_ML_podcasts/1775

Не комикс, но мне нравится.

Впрочем комикс тоже держите

Новый стартап Лекуна и Лебруна

https://techcrunch.com/2025/12/19/yann-lecun-confirms-his-new-world-model-startup-reportedly-seeks-5b-valuation/

Очередная новая JEPA, теперь vision-language.

VL-JEPA: Joint Embedding Predictive Architecture for Vision-language
Delong Chen, Mustafa Shukor, Théo Moutakanni, Willy Chung, Jade Yu, Tejaswi Kasarla, Allen Bolourchi, Yann LeCun, Pascale Fung
Статья: https://arxiv.org/abs/2512.10942
Ревью: https://arxiviq.substack.com/p/vl-jepa-joint-embedding-predictive

# TL;DR

ЧТО сделали: Представили VL-JEPA — неавторегрессионную визуально-языковую модель, которая предсказывает непрерывные текстовые эмбеддинги вместо дискретных токенов. Используя архитектуру Joint Embedding Predictive Architecture (JEPA), модель выравнивает визуальные входы и текстовые запросы непосредственно в латентном пространстве представлений. Текстовый декодер вызывается только в тот момент, когда строго необходим читаемый вывод.

ПОЧЕМУ это важно: Архитектура развязывает семантическое рассуждение и синтаксическую генерацию. Это позволяет сократить количество операций декодирования в 2.85 раза в задачах потокового видео за счет механизма «селективного декодирования». В контролируемых условиях модель обходит стандартные токен-генерирующие VLM сопоставимого размера. Теоретически работа подтверждает переход к подходу «World Model» Яна ЛеКуна в мультимодальном домене, доказывая, что обучение (supervision) в абстрактном пространстве эмбеддингов более эффективно по данным (sample-efficient), чем реконструкция в пространстве пикселей.

Подробнее: https://xn--r1a.website/gonzo_ML_podcasts/1785

Найс

2025 LLM Year in Review by Andrej Karpathy
https://karpathy.bearblog.dev/year-in-review-2025/

В последние полгода происходит тотальная джепизация планеты. Вот свежая NEPA.

Next-Embedding Prediction Makes Strong Vision Learners
Sihan Xu, Ziqiao Ma, Wenhao Chai, Xuweiyi Chen, Weiyang Jin, Joyce Chai, Saining Xie, Stella X. Yu
Статья: https://arxiv.org/abs/2512.16922
Код: https://github.com/sihanxu/nepa
Модель: https://sihanxu.github.io/nepa
Сайт: https://sihanxu.github.io/nepa
Ревью: https://arxiviq.substack.com/p/next-embedding-prediction-makes-strong

# TL;DR

ЧТО сделали:
Авторы представили NEPA (Next-Embedding Predictive Autoregression) — фреймворк для self-supervised обучения визуальных трансформеров (ViT). Идея заключается в предсказании эмбеддинга *следующего* патча изображения при условии знания предыдущих. В отличие от стандартных генеративных подходов, NEPA работает полностью в непрерывном латентном пространстве, не используя дискретные токенизаторы (как в VQ-VAE) или попиксельную реконструкцию (как в MAE).

ПОЧЕМУ это важно:
Этот подход фактически унифицирует цели обучения визуальных и языковых моделей. NEPA доказывает, что чистый objective "предсказания следующего токена" отлично работает на непрерывных визуальных репрезентациях без костылей вроде momentum encoders или майнинга негативных пар для контрастивного обучения. Это масштабируемая и простая парадигма, которая достигает SOTA результатов (85.3% Top-1 на ImageNet-1K с ViT-L), показывая, что каузального моделирования достаточно для выучивания надежной визуальной семантики.

Подробнее: https://xn--r1a.website/gonzo_ML_podcasts/1797