💡 RND1 - новая экспериментальная модель с 30 миллиардами параметров, построенная по архитектуре Sparse Mixture-of-Experts, где активно 3 миллиарда параметров.

Она была преобразована из предварительно обученной авторегрессионной модели (Qwen3-30B-A3B) и затем дополнительно обучена на 500 миллиардах токенов, чтобы полностью поменять поведениие диффузионной модели.

Обычные модели (AR, автогрессионные) пишут текст слово за словом, а RND1 создаёт всё предложение сразу и потом пошагово уточняет его, как будто “проявляет” текст из шума.

Это - Diffusion Language Model (DLM), аналог диффузионных моделей, которые рисуют картинки, только здесь она “рисует” слова.

🔄 Как её сделали

Команда Radical Numerics придумала, как превратить готовую модель в диффузионную без обучения с нуля.

Они просто поменяли тип внимания и дообучили модель на новой задаче.

Этот метод называется AR-to-Diffusion Conversion (A2D) - то есть конверсия из автогрессионной модели в диффузионную.

Как это происходит:
1. Берут сильную GPT-подобную модель.
2. Меняют механизм внимания — теперь модель видит весь контекст сразу.
3. Продолжают обучение по диффузионной задаче.
4. Используют разные скорости обучения для разных частей сети, чтобы модель не забыла старое, но научилась новому способу мышления.

⚙️ Что под капотом

▪ Mixture-of-Experts (MoE) - у модели 30 млрд параметров, но реально работают только 3 млрд за раз. Это делает её мощной, но экономной.

▪ Непрерывное дообучение - старые знания не стираются, а “встраиваются” в новый режим.

▪ Огромные батчи - модель учится на больших партиях данных, чтобы стабилизировать обучение, ведь она не обрабатывает все токены сразу.

✔️ Почему это интересно

- Параллельная генерация - текст создаётся быстрее, без пошаговой задержки.
- Меньше затрат - активных параметров всего 3 млрд, при этом качество как у больших GPT.
- Новая архитектура - открывает дорогу гибридным моделям, сочетающим плюсы AR и DLM.
- Полностью открытый код и веса - можно исследовать, изменять, запускать самому.
- Первый серьёзный шаг к самосовершенствующемуся ИИ- модель может не только обучаться, но и помогать в проектировании следующей версии.

Это реально интересный метод, RND1 показывает, что ИИ можно не просто обучать, а перестраивать - менять его саму логику мышления без начала “с нуля”.

Похоже, это может стать фундаментом для систем Recursive Self-Improvement (RSI), когда ИИ способен создавать и улучшать самого себя.

🟠Blog: https://radicalnumerics.ai/blog/rnd1

🟠Code: https://github.com/RadicalNumerics/RND1

🟠Report: https://radicalnumerics.ai/assets/rnd1_report.pdf

🟠Веса: https://huggingface.co/radicalnumerics/RND1-Base-0910

@ai_machinelearning_big_data


#RND1 #RadicalNumerics #AI #DLM #DiffusionModel #MoE #OpenSource

⚡️ OpenAI выпустила GPT-5-Codex-Mini.

GPT-5-Codex-Mini - более доступная версия флагманского Codex, она в 4 раза эффективней по затратам по сравнению с полной версией GPT-5-Codex при небольшом компромиссе в производительности.

Разница в возможностях минимальна: на SWE-bench Verified версия Mini набрала 71.3%, в то время как старшая GPT-5-Codex - 74.5%. OpenAI рекомендует переключаться на Mini для решения более простых задач или для экономии ресурсов при приближении к лимитам. Старший Codex будет автоматически предлагать переход на Mini, когда пользователь достигнет 90% своего лимита.

Модель уже доступна в CLI и расширении для IDE, а в скором времени появится и поддержка через API.

@ai_machinelearning_big_data

#news #ai #ml

📌This Is How We Are Going to Build AGI: CAIA Google рассказал о состоянии ИИ.

Логан Килпатрик из команды DeepMind беседует с Кораем Кавукчуоглу, CTO DeepMind и по совместительству новым главным архитектором Google по искусственному интеллекту.

Корай Кавукчуоглу рассказал о своих взглядах на текущее состояние ИИ, архитектуру Gemini и стратегию Google по достижению AGI. Он считает, что это «новая эра», где технологии стремительно меняются, и что ближайшие 6 месяцев обещают быть такими же захватывающими, как и предыдущие.

Основные темы интервью:

🟡Успех Gemini 3 и подход к AGI

Недавний запуск Gemini 3 получился суперпозитивным. Но прогресс не замедляется, и Gemini 3, подобно 2.5, снова «отодвинула рубеж по ряду измерений». Центральная философия Google в том, что AGI будет «совместно создаваться с нашими клиентами». Это не чисто исследовательская работа, проводимая в изоляции, а совместное усилие с миром, требующее инженерного мышления.

🟡Новый взгляд на прогресс и бенчмарки

Несмотря на то, что модели Google достигают лидирующих позиций на бенчмарках, истинное мерило прогресса в реальном применении. Старые бенчмарки перестают определять текущий рубеж, и новая мера успеха — это предоставление большей ценности в реальном мире, где модели используют ученые, студенты, юристы и инженеры.

🟡Планы на будущее

Приоритеты для улучшения в будущих версиях Gemini Pro:

🟢Следование инструкциям: Модель должна уметь понимать и выполнять запрос пользователя, а не просто отвечать так, как считает нужным.

🟢Интернационализация: Google сосредоточен на языках, где исторически производительность была невысокой.

🟢Функциональные и инструментальные вызовы: Это критически важные технические области, поскольку они позволяют моделям естественно использовать существующие инструменты.

🟢Код и агентские действия : Код - это база для создания чего угодно в цифровом мире. Корай считает, что агентские действия и код — это наиболее перспективные области роста, в которых еще есть много возможностей для совершенствования.

🟡Интеграция с продуктами и инновации

Интеграция- важная тема для сбора фидбэка от пользователей, который необходим для понимания того, как нужно улучшать модели. Риск для Gemini заключается не в отсутствии масштабирования, а в исчерпании инноваций. Поэтому Google DeepMind и Google Research должны постоянно заниматься исследованиями, чтобы находить новые идеи, которые будут питать «двигатель ИИ» Google.

🟡Единство моделей и генеративные медиа

Генеративные медиа-модели сходятся с текстовыми моделями. Яркий пример - Nano Banana Pro, которая показала, как слияние понимания мира из текста с пониманием из изображений позволяет модели создавать более детализированные и концептуально связные изображения, например, инфографику на основе сложных документов.

Фоном идет история о личном пути Корая Кавукчуоглу : от исследователя Deep Learning в DeepMind в 2012 году до текущей руководящей роли.

🔜 Смотреть полное интервью на Youtube


@ai_machinelearning_big_data

#news #ai #ml