Cognition Lab (разработчики Devin) выпустили модель для написания эффективных ядер CUDA

Модель называется Kevin 32В, буквально K(ernel D)evin. Релиз, на самом деле, был бы не самый примечательный, если бы не техника: для дообучения инженеры завели RL с мультиступенчатым фидбэком от среды.

Разбираемся:

⚪️ В качестве базовой LM взяли QwQ-32B, это ризонинг модель. Ее дообучали всего на 180 задачах из датасета KernelBench. Это задачи на PyTorch, в которых надо заменить базовые операции (например, матричные операции или свертки) оптимизированными CUDA-ядрами.

⚪️ Для дообучения использовали только RL с GRPO (наш разбор метода). Но GRPO не обычный, а многоэтапный. Модель получает фидбэк не один раз за всю генерацию, а генерирует ядро -> получает ревард -> исправляет -> получает ревард -> ….

⚪️ Чтобы не было проблем с перегрузкой контекста, вместо полного CoT на следующие итерации передают только резюме. Плюс для стабилизации всего этого каждый шаг получает не обычное вознаграждение, а дисконтирование, то есть равное дисконтированной сумме скорингов всех последующих ядер.

По метрикам видно, что относительно привычного однопроходного RL такой подход сильно бустит обучение. Интересно было бы посмотреть, сработает ли такое с обычным кодингом.

Блогпост | Модель на HF

Разбираем новую громкую статью «Absolute Zero Reasoner» про то, как дообучить модель вообще без данных

Сейчас в рисерче наблюдается яркий тренд на максимальное сокращение количества данных для дообучения. Совсем недавно хайповала работа, в которой проводили RL для ризонинга всего на одном примере.

А сейчас ученые вообще предложили способ полностью перейти на самогенерируемое обучение. То есть модель сама разрабатывает для себя учебную программу и задачи, решает их, проверяет и учится. Подробнее:

➖ У нас есть LLM, которую мы хотим дообучить. Но теперь она будет играть сразу две роли: Proposer и Solver. Proposer генерирует новые задачи, а Solver их решает.

➖ Так как роли две, обучается модель тоже "с двух сторон", то есть мы даем ревард как за решения, так и за сами задачи. r_solve – обычная бинарная награда за правильный ответ (решил - 1, не решил - 0). А вот r_propose – обучаемая награда, то есть она динамически зависит от того, насколько у солвера хорошо или плохо получается решать сгенерированные задачи. Цель тут – генерировать задачи средней сложности, не сильно простые, и не слишком хардовые.

➖ Обучается все с помощью Task-Relative REINFORCE++. Это авторская модификация PPO для учёта разных «задача + роль» конфигураций. Схемы обучения обеих ролей остаются полностью симметричными, но зато можно отдельно контролировать лернинг рейты или бейзлайны.

В статье подход реализовывали только на задачах по программированию, чтобы ответы можно было проверять просто в интерпретаторе, без человеческой разметки. За основу брали Qwen2.5, и полученный AZR-Coder-7B показывает относительно базовой модели и других подходов очень неплохие приросты.

От ванильного RL почти не отстает, а участие человека сведено к минимуму. При этом и другие приятные плюшки RL сохраняются. Например, видны кросс-доменные приросты метрик по математике (хотя, повторимся, обучали все только на кодинге).

Почитать полностью советуем здесь