Forwarded from Machinelearning
Xiaomi выпустила в опенсорсный релиз MiMo-7B — набор языковых моделей, созданных для решения сложных задач, от математики до генерации кода.
Несмотря на скромные 7 млрд. параметров, модель демонстрирует результаты, превосходящие 32B-конкурентов, разрушая стереотипы о зависимости качества от размера.
Создание MiMo началось с предтрейна на 25 трлн. токенов, где акцент был на повышении плотности логических паттернов.
Для этого разработчики пересмотрели обработку данных: улучшили извлечение математических формул и блоков кода из веб-страниц, добавили синтетические данные, сгенерированные топовыми ризонинг-моделями, и все это обработали уникальной стратегией смешивания.
На первых этапах доля STEM-контента достигала 70%, а на финальном — добавили синтетику и расширили контекст до 32K токенов.
Обучение с подкреплением на стадии посттренинга проводили на массиве из 130 тыс. задач, где каждая проверялась автоматически. Чтобы избежать reward hacking, использовали только rule-based награды.
Для сложных задач по программированию ввели систему частичных баллов (как на олимпиадах по информатике) - даже если решение не идеально, модель получает feedback за пройденные тесты. А чтобы RL не застревал на простых примерах, добавили ресэмплинг: 10% данных брали из пула уже решенных задач, балансируя эффективность и стабильность обучения.
Результаты бенчмарков: на LiveCodeBench v6 MiMo-7B-RL набрала 49.3%, обойдя QwQ-32B на 10 пунктов, а на AIME 2025 — 55.4%, оставив позади OpenAI o1-mini. При этом базовая версия модели уже показывала 75.2% на BBH, что выше аналогов своего класса.
⚠️ Разработчики рекомендуют использовать для локального инференса их форк vLLM , он поддерживает MTP (Multiple-Token Prediction), но и на HF Transformers инференс тоже работает.
@ai_machinelearning_big_data
#AI #ML #LLM #RL #Xiaomi #MiMo
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍2
🤖 ByteDance Seed представил **AgentGym-RL** — новый единый фреймворк для обучения агентов с подкреплением.
🔹 Первый универсальный RL-фреймворк для обучения агентов в многошаговых задачах (без SFT).
🔹 Модульная и расширяемая архитектура: web, поиск, игры, embodied-среды и научные задачи.
🔹 Агенты достигают и даже превосходят коммерческие модели на 27 задачах.
▪proj: https://agentgym-rl.github.io
▪repo: https://github.com/woooodyy/AgentGym-RL
#RL #AI #ByteDance #AgentGym #ReinforcementLearning #Agents
🔹 Первый универсальный RL-фреймворк для обучения агентов в многошаговых задачах (без SFT).
🔹 Модульная и расширяемая архитектура: web, поиск, игры, embodied-среды и научные задачи.
🔹 Агенты достигают и даже превосходят коммерческие модели на 27 задачах.
▪proj: https://agentgym-rl.github.io
▪repo: https://github.com/woooodyy/AgentGym-RL
#RL #AI #ByteDance #AgentGym #ReinforcementLearning #Agents
❤2
Forwarded from Machinelearning
🧠 Андрей Карпаты научил nanochat считать буквы - и объяснил, как расширять способности модели.
Карпаты показал, как добавить новую функцию в мини-LLM nanochat d32, чьи размеры он сравнил с «мозгом пчелы».
Он обучил модель считать, сколько раз буква r встречается в слове strawberry - и использовал этот пример, чтобы показать, как можно наделять маленькие языковые модели новыми навыками через синтетические задачи.
Он использует задачу SpellingBee, которая генерирует диалоги вида:
> «Сколько букв r в слове strawberry?»
и правильные ответы.
После этого модель дообучается (**SFT**) или проходит обучение с подкреплением (RL), чтобы закрепить навык.
Далее модель проходит дообучение (SFT) или обучение с подкреплением (RL), чтобы закрепить навык.
Карпаты объясняет, что для маленьких моделей важно продумывать всё до мелочей, как разнообразить запросы, как устроена токенизация и даже где ставить пробелы.
Он показывает, что рассуждения лучше разбивать на несколько шагов, тогда модель легче «понимает» задачу.
Nanochat решает задачу двумя способами:
— логически, рассуждая пошагово,
— и через встроенный Python-интерпретатор, выполняя вычисления прямо внутри чата.
🧩 Идея в том, что даже крошечные LLM можно «научить думать», если правильно подготовить примеры и синтетические данные.
📘 Полный разбор: github.com/karpathy/nanochat/discussions/164
@ai_machinelearning_big_data
#AI #Karpathy #Nanochat #LLM #SFT #RL #MachineLearning #OpenSource
Карпаты показал, как добавить новую функцию в мини-LLM nanochat d32, чьи размеры он сравнил с «мозгом пчелы».
Он обучил модель считать, сколько раз буква r встречается в слове strawberry - и использовал этот пример, чтобы показать, как можно наделять маленькие языковые модели новыми навыками через синтетические задачи.
Он использует задачу SpellingBee, которая генерирует диалоги вида:
> «Сколько букв r в слове strawberry?»
и правильные ответы.
После этого модель дообучается (**SFT**) или проходит обучение с подкреплением (RL), чтобы закрепить навык.
Далее модель проходит дообучение (SFT) или обучение с подкреплением (RL), чтобы закрепить навык.
Карпаты объясняет, что для маленьких моделей важно продумывать всё до мелочей, как разнообразить запросы, как устроена токенизация и даже где ставить пробелы.
Он показывает, что рассуждения лучше разбивать на несколько шагов, тогда модель легче «понимает» задачу.
Nanochat решает задачу двумя способами:
— логически, рассуждая пошагово,
— и через встроенный Python-интерпретатор, выполняя вычисления прямо внутри чата.
🧩 Идея в том, что даже крошечные LLM можно «научить думать», если правильно подготовить примеры и синтетические данные.
📘 Полный разбор: github.com/karpathy/nanochat/discussions/164
@ai_machinelearning_big_data
#AI #Karpathy #Nanochat #LLM #SFT #RL #MachineLearning #OpenSource
🔥6❤1