🚀 Парадигма меняется: Polaris выводит локальные модели на новый уровень

Polaris — это набор простых, но мощных приёмов, который позволяет даже компактным LLM (4 B, 7 B) догнать и превзойти «тяжеловесов» на задачах рассуждения (открытая 4B модель превосходи Claude-4-Opus).

Вот как это работает и почему важно:
• Управление сложностью данных
– Генерируем несколько (например, 8) вариантов решения от базовой модели
– Оцениваем, какие примеры слишком простые (8/8) или слишком сложные (0/8), и убираем их
– Оставляем «умеренные» задачи с правильными решениями в 20–80 % случаев, чтобы быть ни слишком лёгкими, ни слишком сложными

• Разнообразие «прогонов» (rollout-ов)
– Мы запускаем модель несколько раз на одной и той же задаче и смотрим, как меняются её рассуждения: одни и те же входные данные, но разные «пути» к решению.
– Считаем, насколько разнообразны эти пути (т. е. их «энтропия»): если модели всё время идут по одной линии, новых идей не появляется; если слишком хаотично — рассуждения неустойчивы.
– Задаём начальную “температуру” генерации там, где баланс между стабильностью и разнообразием оптимален, а затем постепенно её повышаем, чтобы модель не застревала на одних и тех же шаблонах и могла исследовать новые, более креативные ходы.

• “Train-short, generate-long”
– Во время RL-обучения используем короткие цепочки рассуждений (короткие CoT) для экономии ресурсов
– На inference увеличиваем длину CoT, чтобы получить более детальные и понятные объяснения без накрутки стоимости обучения

• Динамическое обновление датасета
– По мере роста точности удаляем примеры с accuracy > 90 %, чтобы не «портить» модель слишком лёгкими задачами
– Поддерживаем постоянный вызов модели на её пределе возможностей

• Улучшенная reward-функция
– Комбинируем стандартный RL-reward с бонусами за разнообразие и глубину рассуждений
– Это позволяет модели учиться не только давать правильный ответ, но и объяснять логику своих решений

Преимущества Polaris
• Благодаря Polaris даже компактные LLM (4 B и 7 B) достигают и даже «тяжеловесов» (32 B–235 B) на AIME, MATH и GPQA
• Обучение на доступных GPU уровня consumer-grade — до 10× экономии ресурсов и затрат по сравнению с традиционными RL-пайплайнами

• Полный открытый стек: исходники, подборка данных и веса
• Простота и модульность: готовый к использованию фреймворк для быстрого внедрения и масштабирования без дорогостоящей инфраструктуры


Polaris доказывает, что качество данных и грамотная настройка RL-процесса важнее просто «больших моделей». С ним вы получите продвинутую reasoning-LLM, которую можно запустить локально и масштабировать везде, где есть обычная GPU.


▪Blog post: https://hkunlp.github.io/blog/2025/Polaris
▪Model: https://huggingface.co/POLARIS-Project
▪Code: https://github.com/ChenxinAn-fdu/POLARIS
▪Notion: https://honorable-payment-890.notion.site/POLARIS-A-POst-training-recipe-for-scaling-reinforcement-Learning-on-Advanced-ReasonIng-modelS-1dfa954ff7c38094923ec7772bf447a1

@ai_machinelearning_big_data

#ml #ai • #Polaris #PostTraining #ReinforcementLearning #LLM

🧠 Reasoning — это не «да/нет».

Сегодня почти все LLM обучены на схожих RL-техниках. Разница не в том, есть reasoning или нет, а в том, сколько усилий модель тратит на рассуждения.

🔎 Примеры:
- Claude — многие называют «non-reasoning», но именно они первыми ввели спец-токены и режим *«thinking deeply, stand by…»*.
- DeepSeek v3.1 тоже явно тратит токены на рассуждения, просто это пока не так очевидно.
- GPT-5 в thinking-режиме выдаёт лучшие результаты, используя почти в 2 раза меньше токенов, чем o3.

⚡ Ключ — токены на ответ. Их редко показывают, но именно они отражают реальное «усилие reasoning».
R1-0528 и Qwen подняли метрики за счёт увеличения reasoning-токенов, но это не всегда полезно для юзера.

👉 Правильный взгляд: reasoning = спектр.
Цена и ценность модели = активные параметры × число reasoning-токенов.

#AI #LLM #reasoning #benchmarks

⚡️ Ling-flash-2.0 теперь в открытом доступе! ⚡️

Модель на 100B параметров, но задействовано всего ≈6.1B активных, что делает модель очень экономной в вычислительной нагрузке.

🚀 Чем хороша Ling-flash-2.0
- Обучена на более чем 20 триллионах токенов с до-обучением и RL-этапами.
- Демонстрирует state-of-the-art производительность среди плотных моделей до 40B параметров.
- Особенно хороша в сложном рассуждении, генерации кода и задачах с фронтендом.

⚙️ Архитектура и эффективность
- MoE-архитектура с активированием лишь части параметров (activation ratio 1/32).
- Много технических фишек: продвинутое распределение экспертов, баланс внимания, схема маршрутизации без вспомогательных потерь и др.
- На железе H20 модель генерирует 200+ токенов в секунду - в 3× быстрее по сравнению с плотной моделью 36B.
- Поддерживает контексты до 128K токенов (с YaRN).

https://huggingface.co/inclusionAI/Ling-flash-2.0

@ai_machinelearning_big_data


#moe #llm #ml #ai #opensource

🐬 DeepSeek-V3.2-Exp

🚀 Новая экспериментальная модель от DeepSeek:

- Сохраняет качество V3.1, но снижает цены API на 50–75%
- Ускоряет длинный контекст за счёт DeepSeek Sparse Attention (DSA)
- Доступна в приложении, на вебе и в API, веса и GPU-ядра выложены в открытый доступ
- V3.1 остаётся онлайн до 25 октября для сравнения

💰 Новые цены:
- Input (cache hit): $0.07 → $0.028 (−60%)
- Input (cache miss): $0.56 → $0.28 (−50%)
- Output: $1.68 → $0.42 (−75%)

📊 Качество в целом не пострадало:
MMLU-Pro 85.0 vs 85.0, AIME-2025 89.3 vs 88.4, с небольшими просадками вроде HMMT-2025 (83.6 vs 86.1).


🔗 Hugging Face: https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp)
🔗 Tech Report: https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf)
🔗Github: https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf


#DeepSeek #AI #V32 #SparseAttention #LLM

Mental Models — тогда и сейчас 🧠

В 2007-м нейросети только учились подражать мозгу.
В 2025-м — учёные уже *буквально* создают его цифрового двойника.

1️⃣ E11 Bio сегодня баркодирует *каждую клетку мозга*, определяя тип нейрона и его форму по экспрессируемым белкам.
С помощью expansion microscopy — они “раздувают” мозговые ткани изнутри, чтобы легче проследить связи под микроскопом.

👉 Цель — создать точную 3D-карту мозга, где видно не только нейроны, но и химические градиенты, каннабиноиды, вирусоподобные частицы и внеклеточный матрикс, который становится более гибким под действием психоделиков (работа Gul Dolen).

Вопрос остаётся открытым: *сколько сложности нужно, чтобы реально смоделировать состояние мозга?*

2️⃣ 2007 год.
Тогда энтузиасты строили нейромодели на первых NVIDIA GPU. Один из них создал самодельный суперкомпьютер за $2000, чтобы моделировать рост дендритов и формирование связей в коре мозга.
Каждая точка — сотни потенциальных соединений, каждая ветвь — вычислительный узел.

3️⃣ На старых схемах — RC-цепочки, дифференциальные уравнения и дендрит как *коаксиальный кабель*:
ионы внутри, липидная оболочка снаружи, мембранная ёмкость, сопротивление, ионные каналы, создающие нелинейную динамику.
Сигнал передаётся не потоком электронов, а *каскадом открывающихся каналов*, как пальцы на длинной флейте.

🧩 Вывод: дендрит — это не просто «провод», а самостоятельный вычислительный элемент.
И даже спустя почти 20 лет, мозг всё ещё остаётся самым загадочным суперкомпьютером из всех.

#neuroscience #AI #mentalmodels #brainmapping #E11Bio #LLM