⚡️ Вышел Qwen-3, встречаем новую открытую соту

Выпустили 2 MoE и 6 dense моделей в весах на любой вкус, 0.6В до 235B. Разбираем.

Самая большая модель на уровне со всеми звездами – Gemini 2.5 Pro, Grok-3, o1, R1. И это MoE всего с 22В активных параметров. На 30В MoE модель тоже крутая получилась: на бенчах видно, что она лучше предыдущего ризонера QwQ-32B (при этом активных параметров у нее всего 3В, то есть в 10 раз меньше).

Что еще чтоит знать:

1. Это полу-ризонеры, как Sonnet 3.7 или Gemini 2.5 Pro. То есть модель будет «думать», если задать мод think, и не думать, если задать Non-Thinking. Бюджет рассуждений тоже можно контролировать.

2. Модели мультиязычные (русский тоже есть), но не мультимодальные. Довольствуемся тем, что есть.

3. Улучшены агентные способности на уровне поиска в браузере, использования интерпретатора и др. Что особенно приятно – добавили поддержку MCP.

4. Претрейнинг был в три этапа: сначала на 30 триллионах токенов с контекстом 4К, затем отдельно на сложных научных текстах (5Т), потом на длинных контекстах до 32К токенов.

5. Пост-трейнинг: файн-тюнинг на CoT + несколько стадий RL. Интересно, что мелкие модели до 30В обучали дистилляцией из крупных.

В общем, пробуем и наслаждаемся здесь

Веса | Блогпост | Гитхаб

Microsoft выпустили reasoning версии моделей линейки Phi-4

Пост-разбор самой линейки, которая вышла в феврале, можно посмотреть тут. Сегодня она пополнилась моделями Phi-4-reasoning, Phi-4 reasoning-plus и Phi-4-mini-reasoning. В первых двух 14В, в последней – всего 3.8B, можно запускать дома.

Самая мощная Phi-4 reasoning-plus во многих тестах лучше R1 (в R1 в десятки раз больше параметров), и намного лучше o1-mini в математике. То есть в целом на уровне с передовыми ризонерами, но открыто и легковесно.

Немного отстает только на кодинге, но авторы сами говорят, что в датасете задач по программированию было мало. В то же время приросты относительно обычной Phi-4 говорят сами за себя, бусты достигают х10. Маленькая модель в своем размере тоже тащит.

Как обучали:

➖ Phi-4-reasoning: это только SFT на задачах с CoT от o3-mini. Интересно, что даже эта версия, хоть училась только на CoT o3-mini, иногда обходит своего учителя (пример - бенч OmniMath).

➖ Phi-4 reasoning-plus: тут добавляется еще и RL, правда совсем не масштабный, всего 6 тысяч задач. Больше не брали, потому что модель начинала выходить за контекст. При этом даже такой компактный RL показал крутые результаты, сами сравните на бенчмарках с Phi-4-reasoning.

➖ Phi-4-mini-reasoning: здесь все немного иначе. CoT брали из R1 + датасетов. Обучали в четыре этапа: дистилляция (тут не из конкретной модели, а просто по собранному датасету и только на next-token), SFT, DPO и RL. Про эту модель вышла отдельная статья (там очень подробный рецепт того, как добавить в маленькую модель качественный ризонинг, так что сохраняем).

Веса | Тех.репорт