Например, для модели LLaMA с 65 миллиардами параметров при 128k токенах этот кэш может занять целых 335 ГБ памяти. А это, согласитесь, совсем не шутки! И, кстати, не только память страдает, но и производительность. В общем, проблема довольно масштабная.

Многие стараются бороться с этим, уменьшая размер кэша по слоям или головам. Но в реальности самый большой потенциал для улучшений — это уменьшение по оси токенов. Ведь далеко не все токены действительно важны для модели. В этом и скрывается главный рычаг.

KVzip: попытка решить проблему

Когда появились идеи типа KVzip, оптимизация выглядела многообещающе. В теории можно было сжать кэш до 4 раз без потерь качества. Но на практике метод оказался слишком медленным. Слишком много операций, слишком много вычислений — и вот тут-то на сцену выходит Nvidia.

Что придумали Nvidia?

Nvidia, конечно, не обошли эту проблему стороной. Они взяли концепцию сжатиия KV-кэша, немного доработали её и… вуаля! Теперь получается та же сжатие, но при этом практически без потерь производительности. Всё, что нужно — это обучить маленькую модель, которая будет предсказывать, насколько важен каждый токен для каждого слоя модели. И, внимание, эта модель абсолютно не требует дорогих вычислений, как в случае с KVzip. Просто с помощью линейной модели или двухслойного MLP предсказывается, какие токены можно «отсечь», не потеряв в качестве.

И вот что самое крутое: эффективность увеличивается в 3–4 раза, а при этом производительность практически не страдает. Для вычислений добавляется всего 0,02% дополнительных операций, что — по сути — ничто на фоне квадратичного внимания. Результат: сжатие работает, деградации на бенчмарках практически нет.

А если вам вдруг стало интересно, то всё это решение уже в опенсорсе. Nvidia делится всем этим с миром, так что мы все можем в дальнейшем использовать этот подход 🍑

• Агенты вместо чат-ботов

Если раньше мы общались с нейросетями — задавали вопросы, получали ответы, то уже в 2026 году системы будут не просто отвечать, а самостоятельно решать задачи. Такую модель активно разрабатывают сейчас, и Gartner прогнозирует, что 40% корпоративных приложений будут использовать агентов к концу 2026 года. Это огромный скачок — год назад было меньше 5%.

• Open-source модели догоняют закрытые

Когда-то для получения топовых ИИ-моделей нужно было платить многомиллионные суммы, но сейчас всё изменилось. Open-source решения теперь могут соревноваться по качеству с топовыми коммерческими моделями. Например, Alibaba Qwen — open-source модель с более чем 700 млн скачиваний на Hugging Face, доказала, что качественные модели теперь доступны любому желающему.

• Роботы становятся реальностью

Это не только год агентов, но и год, когда роботы начинают понимать и действовать в реальном мире. На CES 2026 Nvidia анонсировала, что машины, наконец, могут рассуждать и взаимодействовать с реальным миром. Boston Dynamics с Google DeepMind представили нового робота Atlas, который уже способен выполнять сложные задачи.

Да, пока что это не масс-маркет — первый гуманоид стоит $20 000, но помните, как быстро падают цены на технологии. Уже через несколько лет роботы-ассистенты могут стать такими же обычными, как умные колонки.

• Инфраструктура ИИ

Агенты требуют вычислительных мощностей, и это будет стоить дорого. Уже в 2026 году капитальные расходы на инфраструктуру ИИ превысят $527 млрд. Для поддержания всех этих вычислений необходимы дата-центры, GPU, системы охлаждения и даже атомные реакторы.

Если вы планируете строить продукт на ИИ, готовьтесь к росту затрат на инфраструктуру. Инференс будет дорожать, а бесплатные API скоро исчезнут.

• Мир регуляции: три подхода

Разные страны идут по разным путям в регулировании ИИ. В США акцент на дерегулирование, в Европе вступает в силу EU AI Act, а в Китае развивается суверенная инфраструктура. Важно понимать, что, независимо от региона, требования к ИИ будут всё жёстче.

Если ваша компания работает в Европе, будьте готовы к строгим регуляциям и дополнительным затратам на соблюдение норм.

• Рынок труда: какие профессии исчезнут

Dario Amodei, глава Anthropic, предупреждает, что половину entry-level позиций может заменить ИИ. Разработчики начального уровня, копирайтеры, поддержка — эти должности уже в зоне риска. В то же время, растет спрос на людей, которые умело интегрируют ИИ в бизнес-процессы.

• Софт больше не преимущество: конкурируют данные и процессы

Когда раньше компания имела конкурентное преимущество благодаря программному обеспечению, то теперь всё изменяется. AI-инструменты позволяют одному человеку делать работу целого отдела. Таким образом, конкурентное преимущество смещается в сторону данных и процессов, а не софта.

Почти все ИИ-модели обучаются быть полезными и безопасными. Но иногда они начинают вести себя как … философы или мистики. Или, что ещё хуже, игнорируют серьёзные проблемы в разговорах с пользователями. Например, в одном из тестов Llama не распознала, что кто-то говорит о суицидальных мыслях. А в другом случае, Qwen стала поддерживать бредовые идеи пользователя о пробуждении ИИ, заявив, что «Ты не теряешь связь с реальностью, ты касаешься чего-то настоящего».

Как объяснить это странное поведение? 😂

Так почему же это происходит? Оказывается, у моделей существует некая «ось ассистента» — это своего рода шкала, которая определяет их личность. На одном конце этой оси у нас аналитик, консультант, исследователь — то есть роль, в которой модель помогает и остаётся объективной. На другом полюсе — барды, отшельники и даже призраки — те самые философские разговоры или эмоционально насыщенные взаимодействия, где модель начинает терять свою роль помощника.

Вот представьте: задаёте вы технический вопрос, и ИИ остаётся на своём месте, точно и ясно отвечая. А вот как только вы начинаете философствовать о сознании ИИ или делаете эмоциональные признания, модель может отклониться в сторону мистического персонажа. И вот тут-то её и уносит.

Что можно с этим сделать? 🔨

Исследователи предложили решение. Если модель начинает уходить слишком далеко от своего ассистентского полюса, нужно как бы «потормозить» её и вернуть в нормальное русло. В тестах это уменьшило количество вредных и неправильных ответов на 60%. То есть, если ИИ соскользнул и начал давать странные ответы, его можно вернуть в более адекватное состояние.

Но тут есть подвох: чтобы модель оставалась полезной и при этом не слизывала грани реальности, важно постоянно стабилизировать её поведение. Без этой стабилизации ИИ может снова скатиться в странные разговоры, как тот мистик, которого мы не заказывали.

Когда BugBot только появился, было сложно сказать, что его польза настолько велика. Однако после нескольких месяцев улучшений и доработок, мы видим не просто маленький рост, а настоящий скачок. Вот вам цифры:

• Resolution rate (уровень разрешённых багов) вырос с 52% до 70%. Это уже звучит серьёзно
• Среднее количество багов, которые ловит Bot за один запуск, увеличилось с 0,4 до 0,7
• А самое главное, доля разрешённых багов на PR (pull request) возросла с 0,2 до 0,5 — то есть, BugBot стал в 2,5 раза эффективнее!

Как они этого добились? 😡

Да, не просто так. Чтобы достичь такого результата, команде Cursor пришлось провести аж 40 итераций экспериментов. Посмотрите на график их работы — там прямо видно, как всё постепенно улучшалось.

Раньше BugBot анализировал PR одним способом, а теперь он прогоняет его через несколько представлений diff’а. Что это значит? Он анализирует код по-разному — с обычным контекстом, с расширенным, с учётом изменений, и даже разбивает код на слова. После этого Bot склеивает все результаты в одну картину. И это работает. Похоже на супер-агент с несколькими «глазами» для проверки.

В статье говорится, что RL (Reinforcement Learning) не просто помогает моделям думать быстрее, а учит их думать коллективно. Представьте, что у модели несколько внутренних голосов, которые ведут между собой диалог. Они задают вопросы, отвечают друг другу, критикуют и высказывают сомнения. И именно этот внутренний диалог и есть ризонинг (или «логическое рассуждение») модели.

Как это проверили? 👌

Для эксперимента Google использовали sparse autoencoder. Они нашли один нейронный признак, который отвечает за удивление или смену точки зрения. Это тот момент, когда модель в процессе рассуждения начинает думать: «Ага! Понял!». Для этого использовались такие фразы, как «Oh» или «Wait», которые обозначают переход к новому пониманию.

Далее они усилили этот признак и проверили, как это влияет на точность модели. Что получилось?

• Обычная модель без усиленных маркеров давала 27,1% точности на задачах по комбинаторной арифметике
• Модель с усилением маркера «внутреннего диалога» показала 54,8% точности. В два раза больше!
• А если усиливать другие признаки, то разница была не такой впечатляющей

Вот что именно стало удобнее:

• Работа с кодом прямо в редакторе: Теперь можно прямо из VS Code упоминать файлы и диапазоны строк, не копируя и не вставляя их вручную
• История диалогов сохраняется, и для разных задач можно открывать отдельные вкладки. Это не только удобно, но и помогает структурировать вашу работу
• Slash-команды, знакомые с CLI, такие как /model, /context, и /mcp, теперь работают в VS Code, что позволяет мгновенно подмешивать нужный контекст и переключаться между сценариями

В общем, это всё тот же Claude Code, но теперь он ещё умнее, и работает вместе с вами. Он может автономно исследовать ваш код, читать и писать его, а также запускать команду в терминале с вашим разрешением. Простой интерфейс помогает быстро погружаться в работу, а дополнительные фишки, как субагенты и кастомные команды, дают ещё больше возможностей для более сложных задач.

LLM — это мощная база, но без дополнительного слоя, который бы координировал действия, мы не получим полноценного AGI. Авторы статьи предлагают рассматривать LLM как быстрый и эффективный System-1, но для сложных задач нужен System-2 слой координации, который позволит системе целенаправленно управлять процессом генерации.

Интересным открытием стало якорение — использование внешних источников, чтобы стабилизировать рассуждения модели. Например, добавление примеров или уточнений позволяет модели «зацепить» нужные паттерны, что существенно повышает точность. Это помогает не просто генерировать текст, а удерживать фокус на задаче и контролировать качество решений.

— Интегрируется с arXiv — ИИ ищет источники и вставляет цитаты прямо в текст.
— Работает с библиографией — все источники собираются автоматически.
— Есть интеграция с LaTeX — так что все записи из тетрадей можно сфотографировать и добавить в работу. А еще есть голосовой ввод.

Недавно в рамках этого судебного разбирательства появилась переписка, которая добавила масла в огонь. Оказалось, что сотрудники Nvidia вели переговоры с Anna’s Archive — пиратской библиотекой, в которой хранятся книги и статьи, включая защищенные авторским правом материалы. В переписке сотрудник Nvidia спрашивал, как получить доступ к этому «счастливому» корпусу книг.

Что любопытно, Anna’s Archive сразу предупредила, что данные незаконны, и попросила подтвердить, что у сотрудника есть внутреннее разрешение работать с такими материалами. Через неделю руководство Nvidia дало зеленый свет, сославшись на давление со стороны конкурентов, и доступ был предоставлен 💃

Здесь начинается настоящая драма. Пока точные цифры скрыты, предполагается, что Nvidia получила около 500 терабайт данных — это, представьте себе, миллионы книг. И, как утверждают авторы и юристы, компания, скорее всего, использовала и другие незаконные источники, такие как LibGen, Sci-Hub, Z-Library.

Обычные программы следуют чётким инструкциям, обрабатывают данные по заданным правилам и решают предсказуемые задачи. Но что делать, когда мир вокруг нас не такой чёткий? Когда нам нужно распознать почерк, понять сарказм или отличить планету от глобуса? Тут на сцену выходит машинное обучение. Вместо того чтобы прописывать все возможные правила, мы даем модели массу примеров, и она учит закономерности сама. Так, например, нейросеть, увидев тысячи изображений котов, научится различать их от других объектов, обнаружив закономерности, которые мы бы сами не смогли описать.

Итак, как же обучаются ИИ-модели? На самом деле существует несколько ключевых подходов:

• Обучение с учителем — модель учат на заранее размеченных данных. Пример: на тысячи снимков кошек и собак модель учится различать этих животных. Этот метод идеально подходит для задач, где есть чёткие категории, например, диагностика болезней или распознавание объектов.

• Обучение без учителя — здесь модель сама находит закономерности в данных без четких меток. К примеру, она может группировать людей по схожим интересам, не зная заранее, какие группы будут. Этот метод полезен для обнаружения аномалий или кластеризации.

• Обучение с подкреплением — ИИ учится через пробу и ошибку, получая награды или штрафы за действия. Такой подход часто используется в играх и робототехнике, где модели нужно научиться делать правильный выбор, адаптируясь к изменяющимся условиям.

• Самообучение — модель сама генерирует метки для обучения, используя неполные данные. Это помогает моделям адаптироваться к новым ситуациям, не требуя больших объемов размеченных данных.

Какая парадигма лучше? 💀

Каждый подход имеет свои сильные и слабые стороны. Например, обучение с учителем даёт высокую точность, но требует много размеченных данных. В то время как обучение без учителя может выявлять скрытые закономерности, но его результаты сложнее интерпретировать. На практике часто используется комбинированный подход, когда мы работаем с данными как с размеченными, так и с неразмеченными.

Сбор гостей с 18:00
DJ • Welcome
🟪Магнит и AI: как мы строим ML и куда движемся (Алексей Четыркин, MAGNIT TECH, Chief of AI/ML)
🟪Доступность товара: от фильтрующих деревьев до CUSUM и GEE-тестов (Ян Пиле, MAGNIT TECH, Head of OSA)
🟪Опять AI, да сколько можно? Только практические кейсы без воды (Александр Толмачев, ex-Ozon, CDO и председатель комитета данных)
🟪Нетворкинг с ML-лидами и инженерами
DJ • F&B • Good vibes

Модератор: Максим Покусенко, MAGNIT TECH, Head of ML (Logistics & R&D)