📌Роадмэп воспроизведения o1 от OpenAI с фокусом на RL.

Fundan University совместно с Shanghai AI Laboratory составили дорожную карту, как повторить возможности модели o1 от OpenAI.

Главное – обучение с подкреплением, есть 4 важных условия, которые нужно сделать, чтобы добиться такого же уровня, как у o1:

🟢Инициализация политики
🟢Разработка вознаграждения
🟢Поиск
🟢Обучение

Инициализация политики начинается с предварительного обучения LLM на больших текстовых датасетах. Они должны быть из разных областей и включать помимо классических задач NLP, примеры логического рассуждения, знаний о мире и демонстрировать паттерны навыка сравнения. Это позволит модели освоить базовое понимание языка и навыки рассуждения.

Последующая тонкая настройка на инструкциях преобразует модель из "предсказателя следующего токена" в полноценного агента, который может выполнять задачи. Тут важно добавить в процесс человекоподобных рассуждений через SFT или подсказки, чтобы научить модель исследовать пространство решений. Например, самооценке и самокоррекции, как это происходит у OpenAI o1.

Разработка вознаграждения дает модели четкую и понятную обратную связь не только в конце решения задачи, но и на промежуточных этапах. Правильно спроектированная система с использованием внутренних и внешних функций крайне важна, с ней модель учится лучше.

Поиск - решающий навык для генерации качественных решений на этапах обучения и тестирования. Использование методов Best-of-N, Beam Search, MCTS позволяет получить лучшие из возможных результатов. Например, MCTS подходит для более широкого исследования пространства решений.

Обучение использует данные, полученные в процессе поиска для улучшения политики модели. Чем больше параметров и объем поисковых данных - тем лучше производительность в итоге. По сути, обучение и поиск работают как "суперсила", способствуя развитию модели.

Выводы, сделанные в процессе исследования авторами сводятся к тому, что существующие открытые проекты, которые пытаются воспроизвести o1 - вариации такого метода обучения. Обучение с подкреплением - ключ к созданию "рассуждающей модели".

🟡Arxiv


@ai_machinelearning_big_data

#AI #ML #LLM #Paper #RL

🧠 Огромный гайд по по обучению с подкреплением

Свежее руководство по обучению с подкреплением, которое очень подробно объясняет всю теорию и детали реализации каждого алгоритма в этой области со множеством примеров и кодом.

Наслаждайтесь чтением)

📌 Читать

@ai_machinelearning_big_data


#ml #reinforcementlearning #rl #guide

⭐️ Хотите повторить момент озарения (Ahah-moment) DeepSeek всего за 30 долларов ? 🔥 😳

Исследователи из Беркли воспроизвели Ahah-moment в задачах на обратный отсчет и умножение.

Благодаря RL их модель LM 3B самостоятельно развивает способности к самопроверке и поиску.ю правильного ответа.
▪ Github▪Полный лог эксперимента ▪Тред

⭐️ На HF только что появились два новых ризонинг датасета.

1. OpenThoughts: 114 тыс датасет, полученный из R1 по математике, кодингу и другим наукам
2. R1-Distill-SFT: 1.7M, полученный из R1-32B на NuminaMath и Tulu data

⭐️Early Exploration of Multimodal R1⚡️

lmmslab провели интересное исследование мультимодальной R1, используя математически-ориентированные обучающие примеры RL* и *натренированные модели GRPO*.
▪Github ▪Dataset ▪Wandb Logs

⭐️ ИИ модель искусственного интеллекта под названием ESM3 смоделировала 500 миллионов лет эволюционных процессов, чтобы открыть новый белок под названием esmGFP.

Этот новый флуоресцентный белок, похожий на белки, обнаруженные у медуз, может найти применение в медицине.
Он существует только в виде цифровой последовательности и существенно отличается от известных белков.
Исследователи из компании EvolutionaryScale опубликовали результаты, которые сейчас проходят рецензирование.

Новые методы белковой инженерии могут произвести революцию во многих областях, включая разработку новых лекарств.
Флуоресцентные белки, такие как esmGFP, уже используются в исследованиях для визуализации биологических процессов.
ИИ значительно ускоряет этот процесс и расширяет возможности модификации белков.
▪Подробнее

⭐️ Альтернативные провайдеры DeepSeek V3

Официальный API DeepSeek сбоит уже почти сутки, так что многие пользователи ищут варианты.
▪Вот список открытых и не очень альтернатив.

⭐️ Stable Flow: Vital Layers for Training-Free Image Editing
Релиз кода для Stable Flow - метода, не требующего обучения, который позволяет выполняет различные типы операций по редактированию изображений (например, редактирование, добавление, замена объектов) с помощью моделей потока.
▪Github ▪Paper ▪Video

⭐️ Основатель Twitter Джек Дорси представил ИИ-агента Goose, который способен автоматизировать множество рутинных задач разработчика. Goose может: писать и запускать скрипты, делать скриншоты, редактировать файлы и тексты, исправлять ошибки в коде, генерировать целые проекты с нуля и тд. Агент доступен для бесплатного использования на локалке🪿
▪Установить ▪Github

@ai_machinelearning_big_data


#rl #ml #experiment #deepseek #reasoning #education #llm #news #ainews #ai

🌟 Llama3-SWE-RL: Методика обучения LLM для задач разработки ПО с использованием RL.

SWE-RL – техника обучения LLM для задач разработки программного обеспечения с применением обучения с подкреплением на данных открытых репозиториев Github.

Llama3-SWE-RL наделяет навыкам ризонинга, улучшая результаты на задачах вне общего домена кодинга: функциональное программирование, использование библиотек, планирование кода, математические операции и NLP. В отличие от SFT, SWE-RL позволяет модели улучшать свои общие способности рассуждения.

Пайплайн методики состоит из последовательности этапов:

🟢Первый этап - сбор, модерация и агрегирование pull requests из публичных репозиториев Github, разметка и преобразование этого массива в датасет (описание проблемы-контекст кода - "oracle patch")

Oracle patch - это эталонный вариант исправления кода, используемый для обучения и оценки языковых моделей в задачах, связанных с автоматическим решением проблем в программном обеспечении

🟢Второй этап: обучение LLM навыкам генерации кода на основе задачи и контекста, расчет поощрения для RL (тут используют similarity score между инференсом модели и "oracle patch" с использованием difflib.SequenceMatcher. Неверные ответы получают отрицательный reward)

🟢Третий этап: корректировка и оптимизация политики обучения с помощью GPRO.

Тестовая модель Llama3-SWE-RL-70B, обученная на основе Llama-3.3-70B-Instruct с использованием SWE-RL, показала 41.0% solve rate на SWE-bench Verified, это лучший показатель среди моделей среднего размера (<100B) и сопоставимо с результатом GPT-4o.

Прикладная реализация SWE-RL доступна в репозитории проекта, где разработчиками представлены шаблоны промптов и реализация функции вознаграждения на основе сходства последовательностей.

▶️ Локальная установка с примером использования в проекте:

# Install SWE-RL
git clone https://github.com/facebookresearch/swe-rl && cd swe-rl
pip install -e ".[dev]"
pytest

# example on how you can use the reward function in your own project:
import swerl

file = """
def sort_list(lst):
    return sorted(lst)
""".strip()

oracle_file = """
def sort_list(lst: list[int]) -> list[int]:
    return sorted(lst)
""".strip()

context = {"example.py": file}
oracle = {"example.py": oracle_file}

output = """
<think>
...thoughts by LLM
</think>
<solution>
```python
### example.py
<<<<<<< SEARCH
def sort_list(lst):
=======
def sort_list(lst: list[int]) -> list[int]:
>>>>>>> REPLACE
</solution>
""".strip()

reward, metadata = swerl.core.reward.calculate_search_replace_reward(context, oracle, output)
assert reward == 1.0
print(metadata)

📌Лицензирование: CC-NC-4.0 License.


🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #RL #SWERL