UnMaskFork: несколько диффузионных моделей вместе решают одну задачу

Статья от Sakana UnMaskFork, принятая на ICML 2026, предлагает новый способ масштабирования вычислений во время вывода для маскированных диффузионных языковых моделей.

Обычные LLM генерируют текст последовательно - токен за токеном. Маскированные диффузионные модели начинают с полностью скрытого текста и постепенно восстанавливают его части, причём могут заполнять несколько фрагментов параллельно.

Но привычный подход к test-time scaling - повысить температуру и сгенерировать много разных ответов, для таких моделей работает не слишком эффективно.

UnMaskFork решает проблему иначе:

- несколько диффузионных моделей работают над одним ответом;
- каждая по очереди раскрывает те участки, в которых наиболее уверена;
- промежуточный результат передаётся следующей модели;
- поиск по дереву Монте-Карло выбирает наиболее перспективную последовательность действий.

Разнообразие создаётся не случайностью, а переключением между моделями с разными сильными сторонами.

В экспериментах подход улучшил результаты Dream-Coder на задачах по программированию и показал стабильный рост качества на математических бенчмарках при увеличении вычислений во время вывода.

При этом UnMaskFork:

- не требует дополнительного обучения;
- не меняет внутреннюю архитектуру моделей;
- работает как отдельный алгоритм координации;
- позволяет комбинировать модели, обученные на разных данных и разными методами.

Работа продолжает исследования Sakana AI в области «коллективного разума» моделей - систем, где результат достигается не одной большой LLM, а координацией нескольких разных моделей.

Блог: https://pub.sakana.ai/umf
Статья: https://arxiv.org/abs/2602.04344

#AI #LLM #DiffusionModels #ICML2026 #MachineLearning #SakanaAI