Apple выпустили модель для кодинга, но не простую, а диффузионную

Напоминаем, что фишка диффузионных языковых моделей в том, что, в отличие от классических авторегрессионных трансформеров, в них генерация может происходить не обязательно слева-направо, а в произвольном порядке.

Отсюда и название – потому что модель, как в диффузионных генераторах картинок, как бы расшумляет замаскированную последовательность, а не просто генерирует ее токен за токеном.

Такой подход намного быстрее и порой эффективнее по качеству. Сейчас диффузионные LM мощно набирают популярность, даже Google недавно выпустили Gemini Diffusion (пост). Вот и Apple решили попробовать себя на модном поприще.

Если кратко, они взяли Qwen-2.5-Coder и с помощью марковских представлений научили его работать с масками.

Правда, без доп тюнинга модель все равно в большинстве скатывается в авторегрессию, то есть подсаживается на левосторонние токены. Но это регулируется с помощью RL и настройки температуры.

Прирост по метрикам от базовой модели составил +4,4 % по метрике EvalPlus. При этом генерация стала вдвое быстрее. Как видите, потенциал у подхода есть: особенно в коде, где для модели очень важна как раз эта диффузионная способность видеть наперед и планировать свои генерации.

Да, бывают и у Apple хорошие технические статьи. Модель, кстати, выложили в опенсорс

Карьера в Meta такая типа:

Никогда не сдавайся, усердно учись и трудись, заложи основы ИИ, изобрети сверточные нейросети, которыми будут пользоваться все и повсюду, получи премию Тьюринга, стань главным профессором Нью-Йоркского университета и признанным отцом ML и однажды…

ты сможешь работать под начальством 28-летнего миллиардера.

Ладно, сам Лекун оправдывает сложившую иерархию тем, что он любит оставаться ученым, а не руководителем, и заниматься непосредственно рисерчем и генерацией идей. «Люди все равно слушают меня, но не потому что я босс, а потому что им нравятся мои идеи».

Как обучение математике влияет на другие способности модели – новое исследование от крупнейших университетов США и Китая

Уже долго в области LLM по умолчанию считается, что если затюнить модель на математику и кодинг, ее способности улучшаться и в других областях. Якобы, улучшаем общее научное мышление. Но так ли это?

Ученые из университетов Гонконга, Карнеги-Меллона, Пенсильвании и Вашингтона специально брали модель, обучали ее математике и замеряли так называемый Transferability Index – то есть относительный прирост метрик в новой группе задач относительно прироста в математике.

В итоге эмпирически доказано: математика действительно бустит общий интеллект, все как у людей. Но вот насколько сильно – зависит от того, как тюним.

Если с помощью обычного SFT, то TI получается около 40%. Неплохо, но с RL все интереснее. Там TI аж под 80%.

Почему так? PCA показывает, что SFT просто слишком сильно меняет латентное пространство моделей, и это ухудшает гибкость относительно новых задач.

А вот RL редактирует лишь ключевые предметно-важные распределения токенов, а нерелевантные слои не трогает. Получается синергия: сохраняем общие знания и усиливаем их техническими.

Вот так. На самом деле очень важный для практики результат. В статье, кстати, еще много интересных визуализаций и графиков: arxiv.org/pdf/2507.00432