Команда DeepSeek готовится к выпуску 4ой версии модели, со всеми плюшками в лице оптимизаций mHSC, улучшенными свойствами кодирования и агентные темы в части работы с длинным контекстом, который стал эффективнее. Интересно, будет ли там, что-то новенькое а-ля gdpo и улучшение внимания+архитектуры от nvidia? 🤔

Оптимизация mHSC позволяет быстрее и эффективнее работать блокам трансформера - иметь более представимые внутренние вложения векторов, через улучшенные механики отображения и наследования информации.

А ещё недавно они расширили свой тех. репорт увеличив в 4 раза число страниц, с новыми подробностями обучения R1 поколения.

Engram от DeepSeek, как O(1) лукап в памяти на эмбеддингах.

Осторожно длинопост.

Команда DeepSeek продолжает радовать новыми хинтами для архитектуры. Почему это стоит обозреть, думаю, что в v4 эта фишка обязательно появится. Действуем привентивно.

Немного вводных. Напомню, что MoE работает с роутингом FFN слоев. А FFN является местом, где хранятся "знания о мире" языковой модели. Как вы понимаете, данные знания являются статичными, т.е. они не изменяются во времени. И как вы можете понять, чтобы внести новые знания модель надо доучивать на актуальные вещи и в т.ч. поэтому RAG всегда требует актуальных источников, а модели из весов говорят чушь, что сегодня 2 декабря 2023 года. Это просто слепок данных претрена на такую дату.
В общем, в работе нам представлен ещё один вариант развития фичи с статичной памятью. Увы, научиться на лету делать её темпоральной без внешней инженерии а-ля RAG, и постоянного дотюна и ретрена не выйдет.

🔍 Основная концепция и мотивация.

Текущие LLM, включая модели MoE, вынуждены производить поиск знаний за compute – к сожалению, вы платите памятью за sparsed inference, тк надо всех экспертов держать на готове. При этом для обработки статической информации: именованные сущности, формулы и др., они также тратят compute и емкость весов для реконструкции паттернов, которые можно было бы получить простым поиском по памяти.

Авторы предлагают ввести в архитектуру LLM новую, дополнительную ось разреженности – условную память ака Conditional Memory (далее CM). Если MoE реализует условные вычисления (динамически активируемые параметры), то условная память обеспечивает разреженный доступ к статическим знаниям через механизм быстрого поиска. Практической реализацией этой идеи стал модуль Engram (репо тут), который модернизирует классические N-граммные эмбеддинги для эффективного поиска за время O(1).

🏗️ Архитектура Engram

Модуль Engram встраивается в блок трансформера в архитектуру с несколькими ветвями, на подобие новинки mHC и работает в два этапа:

1. Извлечение и поиск. На основе локального контекста (суффиксных N-грамм, где N=2,3) производится поиск статических векторных представлений из большой таблицы эмбеддингов. Чтобы работать с огромным комбинаторным пространством N-грамм, используется детерминированное хеширование с несколькими головами, что снижает коллизии. Для повышения семантической плотности применяется предварительное сжатие токенов, это прям как в lattent attention (было про это тут), которое нормализует разные написания одних и тех же слов.

2. Слияние. Извлеченные статические векторы на лету интегрируются в скрытые состояния модели. Для этого используется контекстно-зависимое просеивание, зовут это gating, но напоминает механизм внимания (а ещё гейты в GRU, ну и роутинг в МоЕ). По сути все как в attention - текущее скрытое состояние выступает в роли "запроса", который определяет, насколько релевантен/важен извлеченный "ключ" путем механизма dot-prod. Это позволяет модели игнорировать зашумленные или неуместные в контексте N-граммы. А ещё в конце стоит conv слой, т.е. свертка, которая, по сути берет итоговые эмбеддинги n-gramm и делает над ними то самое слияние в эмбеддинг фраз. Дядя напомнит, что слова и словосочетания составляют предложения. Ранее (где-то в 2014-2017годах) для такого сложения и использовали Conv1D свертки над эмбеддингами токенов, это давало эмбеддинги N-грамм, а pooling от этого даёт уже эмбеддинги текстов.

⚖️ Законы масштабирования и распределение ресурсов (Sparsity Allocation).
Ключевой вопрос исследования: при фиксированном бюджете параметров и вычислений, как оптимально распределить разреженную емкость между экспертами MoE и памятью Engram?

Эксперименты выявили U-образный закон масштабирования:

· Чистый MoE (ρ=100%) неоптимален – модель тратит глубину слоев на реконструкцию статики.
· Чистый Engram (ρ=0%) тоже неэффективен – недостаточно вычислительной мощности для динамических рассуждений.

Оптимальной оказалась гибридная конфигурация с ~75-80% ресурсов для MoE и ~20-25% для Engram. Это доказывает, что условная память и условные вычисления являются структурно взаимодополняющими концептами.

📊 Результаты экспериментов

Обучили модель 27b и 40b.
Знания о мире ожидаемо улучшились результаты на MMLU +3.4), CMMLU +4.0.
Далее интересное - в reasoning задачах неожиданно больший прирост показали кейсы на сложные рассуждения: BBH +5.0, ARC-Challenge +3.7, DROP +3.3. Код и математика: HumanEval +3.0, MATH +2.4, GSM8K +2.2.

Длинный контекст и условная память. Освободив механизм внимания от обработки локальных зависимостей, Engram значительно улучшил способности модели к работе с длинным контекстом, например, точность Multi-Query NIAH выросла с 84.2% до 97.0%

Дальнейшее масштабирование только памяти, и как следствие ёмкости модели, при том же вычислительном бюджете продолжило улучшать качество модели, следуя предсказуемому степенному закону. О нем читайте также в статье.

🔬 Почему это работает?

1. Эффективное увеличение глубины. Engram берет на себя реконструкцию статических паттернов в ранних слоях модели. Анализ с помощью LogitLens и CKA показал, что представления в 5-м слое Engram-27B семантически эквивалентны представлениям в 12-м слое базовой MoE-модели. Это означает, что сеть получает «в подарок» дополнительную глубину для сложных рассуждений.
2. Функциональное разделение: Абляционные тесты (отключение Engram во время инференса) показали резкую дихотомию: задачи на статические знания почти полностью полагаются на Engram, в то время как задачи на понимание контекста (reading comprehension) почти не страдают, так как за них отвечает механизм внимания бэкбона.

Вывод. Довольно таки интересное исследование, мы видим тут и наследование недавних механик MoE, mHC, MLA и новый концепт статической памяти. Работа демонстрирует, что CM, реализованная через Engram, является хорошим дополнением  для моделей следующего поколения. Блоки CM образует синергию с MoE, существенно повышая эффективность, качество и глубину модели при решении разнообразных задач, от извлечения фактов до  рассуждений. Ждём в новом DeepSeek v4? Т.к. модели 27б и 40б на HF я не нашёл. 😔

#meme на злобу Фрэнсису

Сделай нам GPT translater, брат. (с)

Как я и говорил, фича памяти очень важная тема, тк это позволяет хранить интересы, по которым можно делать уже рекомендации и рекламу.

Люблю периодически читать статьи в инженерных блогах разных компаний, как они борются с проблемами скейла и нагрузки. И, чаще всего, самые лучшие способы - самые простые.

Вот и OpenAI рассказали, как они скейлят постгрю. Никаких вам атомных часов и спутников на орбите, чтобы обуздать CAP теорему и eventual consistency, а просто напросто набор прокси, шардирование и много read реплик и итог в виде миллионов qps.

https://openai.com/index/scaling-postgresql/