🔥 Новые модели OpenAI нашли в релизе Transformers 4.55

GPT-OSS — долгожданysq опенсорс для продвинутого reasoning и агентных задач.

🧠 Представленно два варианта:
— GPT-OSS-120B — 117B параметров, запускается на одной H100 (80GB)
— GPT-OSS-20B — 21B параметров, работает на 16GB GPU (или даже локально!)

💡 Оба варианта — MoE-модели (Mixture of Experts) с 4-битной квантизацией (MXFP4), что обеспечивает быстрое и дешёвое инференс-время (активны только 3.6B и 5.1B параметров).

✔️ Особенности:
• Архитектура Token-choice MoE с SwiGLU
• Контекст до 128K токенов с RoPE
• Чередуются full-attn и sliding-window слои
• Модель хорошо работает с CoT (chain-of-thought)
• Поддержка instruction-following и tool-use
• Совместима с transformers, vLLM, llama.cpp, ollama
• Используется тот же токенизатор, что и в GPT-4o
• Открытая лицензия Apache 2.0 (есть небольшое policy-дополнение)

Младшая модель может запускаться даже на локальном железе — идеально для on-device и edge-сценариев.

📎 Пример кода инференса уже доступен — достаточно 16GB GPU с mxfp4!

🏴‍☠️Лицензирование: Apache 2.0

https://github.com/huggingface/transformers/releases/tag/v4.55.0

@ai_machinelearning_big_data


#openai #opensource #chatgpt

🚀 Tencent выложила в открытый доступ Hunyuan-GameCraft — инструмент для генерации интерактивных игровых видео с высокой реалистичностью.

Что это значит:
• Из одной картинки сцены и команд пользователя (клавиатура, мышь) создаётся полноценное игровое видео от первого или третьего лица.
• Движения плавные и точные: можно контролировать скорость, угол поворота и строить сложные траектории, а не только примитивную анимацию.
• Среда тоже живая — облака, дождь, снег, вода и другие эффекты генерируются динамически.
• Картинка остаётся чёткой даже при резких перемещениях — сохраняется информация о сцене.
• Работает быстро и дёшево: за счёт оптимизаций и квантования 13B-модель тянет даже RTX 4090, без дорогого рендера и сложного 3D-моделирования.

Построен на базе HunyuanVideo.

🟠Project Page: https://hunyuan-gamecraft.github.io
🟠Code: https://github.com/Tencent-Hunyuan/Hunyuan-GameCraft-1.0
🟠Technical Report: https://arxiv.org/abs/2506.17201
🟠Hugging Face: https://huggingface.co/tencent/Hunyuan-GameCraft-1.0

#AI #GameDev #VideoGeneration #HunyuanVideo #OpenSource #Tencent #GamingAI

💡 RND1 - новая экспериментальная модель с 30 миллиардами параметров, построенная по архитектуре Sparse Mixture-of-Experts, где активно 3 миллиарда параметров.

Она была преобразована из предварительно обученной авторегрессионной модели (Qwen3-30B-A3B) и затем дополнительно обучена на 500 миллиардах токенов, чтобы полностью поменять поведениие диффузионной модели.

Обычные модели (AR, автогрессионные) пишут текст слово за словом, а RND1 создаёт всё предложение сразу и потом пошагово уточняет его, как будто “проявляет” текст из шума.

Это - Diffusion Language Model (DLM), аналог диффузионных моделей, которые рисуют картинки, только здесь она “рисует” слова.

🔄 Как её сделали

Команда Radical Numerics придумала, как превратить готовую модель в диффузионную без обучения с нуля.

Они просто поменяли тип внимания и дообучили модель на новой задаче.

Этот метод называется AR-to-Diffusion Conversion (A2D) - то есть конверсия из автогрессионной модели в диффузионную.

Как это происходит:
1. Берут сильную GPT-подобную модель.
2. Меняют механизм внимания — теперь модель видит весь контекст сразу.
3. Продолжают обучение по диффузионной задаче.
4. Используют разные скорости обучения для разных частей сети, чтобы модель не забыла старое, но научилась новому способу мышления.

⚙️ Что под капотом

▪ Mixture-of-Experts (MoE) - у модели 30 млрд параметров, но реально работают только 3 млрд за раз. Это делает её мощной, но экономной.

▪ Непрерывное дообучение - старые знания не стираются, а “встраиваются” в новый режим.

▪ Огромные батчи - модель учится на больших партиях данных, чтобы стабилизировать обучение, ведь она не обрабатывает все токены сразу.

✔️ Чем RND1 интересна:

- Параллельная генерация - текст создаётся быстрее, без пошаговой задержки.
- Меньше затрат - активных параметров всего 3 млрд, при этом качество как у больших GPT.
- Новая архитектура - открывает дорогу гибридным моделям, сочетающим плюсы AR и DLM.
- Полностью открытый код и веса - можно исследовать, изменять, запускать самому.
- Первый серьёзный шаг к самосовершенствующемуся ИИ- модель может не только обучаться, но и помогать в проектировании следующей версии.

Это реально интересный метод, RND1 показывает, что ИИ можно не просто обучать, а перестраивать - менять его саму логику мышления без начала “с нуля”.

Похоже, это может стать фундаментом для систем Recursive Self-Improvement (RSI), когда ИИ способен создавать и улучшать самого себя.

🟠Blog: https://radicalnumerics.ai/blog/rnd1

🟠Code: https://github.com/RadicalNumerics/RND1

🟠Report: https://radicalnumerics.ai/assets/rnd1_report.pdf

🟠Веса: https://huggingface.co/radicalnumerics/RND1-Base-0910

@ai_machinelearning_big_data


#RND1 #RadicalNumerics #AI #DLM #DiffusionModel #MoE #OpenSource

🚀 DroPE: как расширить контекст LLM, просто “выкинув” позиционные эмбеддинги (механизм, который говорит трансформеру в каком порядке идут токены.)

Sakana AI выпустили DroPE - метод, который позволяет увеличить контекст у уже предобученных LLM без привычных адских затрат на long-context fine-tuning.

Идея звучит как ересь, но результаты говорят об обратном .

💡 Главный инсайт
Позиционные эмбеддинги (например RoPE) жизненно важны, чтобы модель нормально обучилась и сошлась.

Но после обучения они же становятся главным ограничителем, из-за которого модель плохо переносит контекст длиннее, чем видела на трейне.

То есть:
- для обучения - нужны
- для генерализации на очень длинные последовательности - мешают

✅ Решение DroPE
Авторы предлагают относиться к позиционным эмбеддингам как к временным “строительным лесам”:
- в pretraining они дают стабильность
- после обучения их можно сбросить (drop)
- и получить zero-shot length extrapolation (модель начинает заметно лучше работать на длинах, которых не видела)


Большие контексты нужны пользователям :
- огромные code diff и монорепы
- юридические контракты на сотни страниц
- аналитика логов и документов без разбиения на чанки

Именно тут многие стандартные модели начинают “ломаться” просто потому что контекст слишком длинный.

Результаты
DroPE проверили на разных open-source моделях:
- калибровка занимает <1% бюджета от исходного pretraining
- а качество на long-context задачах заметно лучше популярных подходов
- сильные результаты на LongBench и RULER

Позиционка нужна, чтобы обучить модель, но может быть лишней, чтобы мыслить длинно

Возможно RoPE - не “обязательная часть архитектуры”, а просто инструмент для стабильного обучения.

📄 Paper: arxiv.org/abs/2512.12167
🔧 Code: github.com/SakanaAI/DroPE

@ai_machinelearning_big_data

#sakana #ai #ml #opensource

⚡️Релиз Qwen3.5-397B-A17B

Это первый open-weight релиз в серии Qwen3.5.

Лицензия Apache 2.0.

Что интересного:

• Мультимодальная модель
Понимает текст и изображения

• Создана для AI-агентов
Оптимизирована для реальных задач: планирование, работа с инструментами, многошаговые действия.

• Новая архитектура
Hybrid Linear Attention + Sparse MoE + масштабное обучение с reinforcement learning.

• Высокая скорость
Заявлено что моделька в 8. 6- 9 раз быстрее, чем у предыдущей Qwen3-Max.

• Глобальная модель
Поддержка 201 языков и диалектов.

Модели такого уровня в открытом доступе:
- можно запускать AI у себя, без зависимости от API
- полный контроль над данными
- возможность строить собственных агентов и продукты
- снижение стоимости на масштабах

🟡GitHub: https://github.com/QwenLM/Qwen3.5
🟡Чат: https://chat.qwen.ai
🟡Hugging Face: https://huggingface.co/collections/Qwen/qwen35
🟡Блог: https://qwen.ai/blog?id=qwen3.5

@ai_machinelearning_big_data

#qwen #ai #llm #ml #opensource