Closed-Loop Supervised Fine-Tuning of Tokenized Traffic Models

Сегодня разберём статью о том, как ребята из NVIDIA заняли первое место в лидерборде WOSAC от Waymo. Речь пойдёт о цикле SFT, а не о способах токенизации, старых слоях архитектуры или внутреннем cross attention.

CAT-K — стратегия файнтюнинга, основанная на top-k-подходе. Её авторы поднимают проблему миссматча распределений во время обучения и на инференсе.

Для обучения в open-loop используются траектории водителей как условия (обуславливание на историю) в режиме behavior cloning. Но при симуляциях на инференсе агенты двигаются уже не по таким же хорошим траекториям в closed-loop, а по своим собственным: с ошибками, которые накапливаются при последовательной генерации движения. Так могут возникать состояния, неучтённые в обучении.

В качестве бейзлайна авторы используют авторегрессионный подход SMART с дельта-токенами:

1. Фиксируют сетку по времени с шагом 0,5–2 секунды прошлого и 8 секунд будущего.
2. На каждом шаге по времени предсказывают для каждого агента токен с собственным сдвигом в координатах.

Обычно авторегрессионные модели для Traffic Motion тренируют с помощью teacher-forcing как LLM модели: формулируют Traffic Motion как Next-Token-Prediction. Но для того, чтобы уменьшить миссматч авторы адаптируют Cross-Entropy Method (или модный SFT из LLM).

Как устроен CEM:

1. Генерирация набора траекторий (в closed-loop)
2. Отбор лучших кандидатов по метрике элиты.
3. Дообучение в режиме teacher-forcing на элитах.

Элиты — моды в распределении, индуцируемом обученной моделью. Они близки к GT-тракеториям. То есть, если дообучаться на хороших траекториях из симуляций в closed-loop, миссматч между обучением и инференсом уменьшится.

Остаётся только адаптировать дельта-токены для CEM:

1. Выбрать K самых вероятных токенов на текущем шаге генерации.
2. Из K самых вероятных токенов выбрать тот, что лучше всего аппроксимирует GT.
3. Использовать выбранный токен для пересчёта следующего состояния.

Контроль количества элит при генерации помогает избежать лишних симуляций и их фильтрации: дискретизация дельта-токенов — дискретизация первого порядка.

Внедрение CAT-K помогло небольшой политике моделирования токенизированного трафика с 7 миллионами параметров превзойти модель с 102 миллионами параметров из того же семейства моделей и занять первое место в таблице лидеров Waymo Sim Agent Challenge на момент подачи заявки.

Разбор подготовил ❣️ Тингир Бадмаев
404 driver not found

Lumine: An Open Recipe for Building Generalist Agents in 3D Open Worlds

Увидел статью у Андрея @datastorieslanguages и не понял, почему о ней так мало говорят. Меня результаты очень удивили. Я не буду делать полный разбор, сделаю очень краткий пересказ (🤦 я должен бороться за символы).

Что делают: учат маленький Qwen-2-VL-7B играть в Genshin Impact, да-да, ту самую гача-игру, но делают это в очень общем виде. Если модели, которые учились играть в Starcraft / Go / Dota 2 были заточены только на них, то в этом случае авторам удаётся без дообучения и изменений запускаться почти на любой игре.

Для сбора данных нанимают игроков и просят записать их геймплей на первых уровнях, с выполнением простых миссий и загадок. Всего около 2500 часов данных, правда после фильтрации остаётся 1730. На этом учат модель по картинке предсказывать действия мышки и нажатия кнопок. В модель поступает история в виде 20 картинок за 4 секунды + предпринятые в прошлом действия (игрока, не модели). Предсказанное действие — это на самом деле последовательность из 6 действий на следующие 200 миллисекунд (можно предсказать 1 клик и просто ждать, а можно сложную комбинацию клавиш).

Затем фильтруют часть данных, делают разметку / классификацию / фильтрацию через GPT-4.1 и получают 200 часов в данных, где для геймплея есть текстовая инструкция, что делает игрок. Поверх этого собирают 15'000 очень коротких цепочек рассуждений (20-30 слов), привязанных не к каждому шагу, а к отдельным «переломным» моментам, где игрок начинает делать что-то новое.

На каждом из наборов данных учат по 3 эпохи, и на это уходит порядка $45'000 (не миллионы). Много вкладывают в оптимизацию инференса, чтобы модель успевала при истории в 20 картинок в разрешении 720p + истории действий + системном промпте предсказывать следующие действия за менее чем 0.2 секунды, ключевое — это используют StreamingLLM, позволяющий переиспользовать KV-кэш даже если часть истории меняется (потому что мы самые старые картинки + действия удаляем и не подаём в модель; обычно это означает, что нужно пересчитывать всё, и нельзя переиспользовать кэш) + запускают на 4xH20.

И... никакого RL. Только обучение на собранных данных, и даже «обучение рассуждениям» — это просто задача предсказания следующего слова. То, что это работает на тех же уровнях и миссиях, на которых учили — это не удивительно. Немного удивительно, что достаточно хорошо работает на новых уровнях/миссиях/загадках, правда, использующих те же механики (о новых-то модель не знает).

НО ВОТ ЧТО СУПЕР-УДИВИТЕЛЬНО — ЭТО ЧТО МОДЕЛЬ ХОРОШО ИГРАЕТ В ДВЕ ДРУГИЕ ГАЧИ, Wuthering Waves и Honkai: Star Rail. Да, у них похожий стиль и геймплей, да, они достаточно примитивные — но я не ожидал, что маленькая модель, выпущенная ещё до выхода этих игр (то есть она не могли быть натренирована на тысячах скриншотов из них), относительно старенькая (уже Qwen-3 давно), сможет проходить миссии 100+ минут подряд. В Wuthering Wave — вообще 5-часовой уровень закончила (у человека уходит примерно 4 часа, то есть модель не тыкается в стену всё время и потом делает какую-то маленькую часть работы).

Посмотреть записи геймплея можно на сайте тут.

Следующий логичный шаг — а) добавить обучение на интернет-данных (летсплеях) б) расширить круг игр, ну и в идеале ещё конечно в) накинуть RL, что будет сложно из-за длительности сессий.
🤔 интересно, почему это не работает настолько хорошо в веб-агентах? Или там 2500 часов «работы» куда дороже набрать?

🩸 такой хайп что я готов идти питчить агентов-игроков инвесторам

Sparse4D v3: Advancing End-to-End 3D Detection and Tracking

Сегодня разберём одну из немногих статей об End-to-End 3D Detection and Tracking. Речь пойдёт о детекторе Sparse4Dv3 с хорошими метриками на nuScenes — главном опенсорс-датасете для автономного транспорта.

Sparse4D — camera-only multi-view 3D-детектор, который авторы постоянно развивают. Сегодня у него уже три версии, и в самой последней появился multi-object tracking. Но обо всём по порядку.

Sparse4D v1. Первый подход — энкодер-декодер архитектура camera-only multi-view детектор с временным контекстом.

Из кадров видео, которое подаётся на вход, выделяются image-features с нескольких камер с разными масштабами и таймстемпами. Декодер делает последовательный фьюз этих фичей, используя 3D-anchor-box. После декодера инстансы рефайнят (доуточняют) с учётом confidence. Результат работы модели — предсказание положения 3D-box (задаются координатами, размерами и скоростью).

Sparse4D v2 — улучшение первой версии за счёт применения рекуррентной схемы с фьюзом временного контекста. Дополнительно улучшить сходимость обучения модели на ранних шагах помогли данные о глубине лидара.

Sparse4D v3. Авторы ускорили обучение и улучшили сходимость модели:

🔴 Temporal Instance Denoising — зашумили GT и добавили в обучение.
🔴 Decoupled Attention: заменили сложение на конкатенацию в механизме attention.
🔴 Quality Estimation: оценили centerness (уверенности в координатах) и yawness (уверенности в поворотах) в общий confidence каждого предсказания, а потом прокинули это в loss.

А ещё в этой версии появилась возможность трекинга. Чтобы реализовать её, авторы добавили в информацию каждого предикта идентификатор (id): для предиктов из предыдущих кадров они сохранялись, для новых — генерировались заново. Так процесс трекинга не требует дообучения или файнтьюнинга детектора. Это просто дополнительная функциональность — назначение и сохранение id во времени.

Познакомиться с решением поближе можно на Github авторов.

Разбор подготовила ❣️ Ольга Ротова
404 driver not found

🔥МЫ ПРЕДСТАВЛЯЕМ КРУПНЕЙШИЙ OPEN-SOURCE AI В ЕВРОПЕ 🔥

Мы стремимся не замыкаться в «закрытой» технологии, а строить открытую платформу для всей страны, поэтому мы публикуем веса наших моделей

Что появилось в открытом доступе ↓

🔷 GigaChat Ultra Preview
Самая мощная модель Сбера. Лучше DeepSeek V3.1 и GigaChat Max 2 в русскоязычных задачах. Подходит для бизнеса, аналитики, разработки и дообучения на ваших данных
➡ GitHub | HuggingFace |GitVerse

GigaAM-v3
Пять моделей, которые превращают голос в текст с пунктуацией, понимают акценты, спонтанную речь и даже музыкальные запросы. Подойдут для голосовых ассистентов, контакт-центров, аналитики звонков
➡ GitHub | HuggingFace | GitVerse

🔷 GigaChat Lightning
Лёгкая, компактная и быстрая. Конкурирует с Qwen3-4B, по скорости сравнима с Qwen3-1.7B, но намного умнее и больше по параметрам
➡ GitHub | HuggingFace |GitVerse

🔷 Kandinsky 5.0
Создание фото и видео по тексту. Внутри:
• Image Lite — делает изображения в HD, отлично понимает русский язык и культурный контекст
• Video Pro — создаёт до 10 секунд реалистичного HD-видео. Конкурирует с топовыми мировыми моделями
• Video Lite — облегчённая версия для домашней видеокарты (от 12 ГБ)
➡️ GitHub | GitVerse | Hugging Face | Технический репорт

🔷 K-VAE 1.0
Ускорение генеративного AI. Это технологии, которые «упаковывают» картинки и видео в скрытое пространство, чтобы модели работали быстрее и требовали меньше ресурсов. Лучшие среди открытых аналогов
➡️ GitHub|Hugging Face

Код и веса этих всех моделей теперь доступны всем пользователям по лицензии MIT, в том числе для использования в коммерческих целях

✔️ HunyuanVideo 1.5 - новая открытая модель для генерации видео, которая сейчас считается самым сильным open-source решением в этой области.

Построенная на архитектуре DiT, модель поднимает планку по качеству и доступности.

Что важно:
⚡️ Всего 8.3B параметров - модель можно запускать даже на потребительских GPU с 14GB VRAM
🖥️ Качество: генерирует 5–10 секунд видео в 480p/720p, а через суперразрешение —ё- до 1080p с киношной детализацией

SOTA-качество с очень низкими требованиями к железу.

🟠Проект: hunyuan.tencent.com/video/zh
🟠GitHub: github.com/Tencent-Hunyuan/HunyuanVideo-1.5
🟠Hugging Face: huggingface.co/tencent/HunyuanVideo-1.5

@data_analysis_ml

🌐 Google получит доступ ко всем личным сообщениям и вложениям в Gmail для обучения своих ИИ-моделей

Как сообщает Malwarebytes, Google включает для пользователей настройку, которая дает доступ ко всем личным перепискам и вложениям Gmail в целях обучения своих ИИ-моделей. Это означает, что ваши электронные письма и файлы могут быть проанализированы для "улучшения ИИ-ассистентов" Google.

Некоторые пользователи уже сообщают, что эти настройки включены «по умолчанию» без явного на это согласия.

Если не отключить эти настройки вручную, то ваши личные сообщения будут использоваться для обучения ИИ в фоновом режиме.

Процедура отказа от ИИ-обучения на ваших данных требует изменения настроек в двух разных местах:

🔐 Отключите «Умные функции» в настройках Gmail, Chat и Meet:
🔻 Откройте Gmail в браузере на компьютере или в мобильном приложении
🔻 Нажмите на значок шестеренки → Все настройки (на компьютере) или Меню → Настройки (на мобильном устройстве)
🔻 Нужно отключить "Умные функции" и "Умные функции Google Workspace"

Google разделяет «умные» функции Workspace (почта, чат, видеовстречи) и умные функции, используемые в других приложениях Google. Чтобы полностью отказаться от передачи ваших данных для обучения ИИ, необходимо отключить обе категории.

Возможно, в вашем аккаунте эти настройки еще не включены по умолчанию, так как, судя по всему, Google внедряет эти изменения постепенно.

✋ @Russian_OSINT

Мы опубликовали стабильный, быстрый, качественный и доступный синтез для 20 языков России и СНГ

0️⃣ Популярные языки из 🇷🇺🇺🇦🇺🇿🇰🇿🇦🇿🇹🇯🇧🇾🇬🇪🇰🇬🇦🇲;
1️⃣ Всего 20 языков России и стран СНГ, всего 95 голосов;
2️⃣ Модели компактные и быстрые, как наши прошлые релизы;
3️⃣ Поддержка SSML, генерация аудио с SR 8000, 24000, 48000;
4️⃣ Два типа моделей - base под лицензией MIT на наших данных и ext на данных сообщества;
5️⃣ Остались непокрытыми языки Дагестана и ЧР, если хотите помочь с добавлением этих языков пишите на @silero_job.

⭐️Репозиторий - github.com/snakers4/silero-models
⬆️Статья на Хабре - habr.com/ru/articles/968988/