Molmo 2: State-of-the-art video understanding, pointing, and tracking

Семейство пониматоров видео и изображений от AI2 (Allen AI)

#SOTA среди открытых моделей

— обгоняет Gemini 3 Pro и другие открытые модели в отслеживании объектов в видео

— поддерживает работу с одиночными изображениями, несколькими изображениями и видеоклипами разной длины

— указывает конкретные события и объекты в видео, а не просто даёт описательные ответы

— выполняет подсчёт объектов с указанием их местоположения, отслеживание нескольких объектов, плотную разметку видео, обнаружение аномалий и артефактов, работает с субтитрами в видео

Molmo 2 (8B) — лучшая общая модель для работы с видео
Molmo 2 (4B) — оптимизирована для эффективности

Эти две модели на базе Qwen 3

Molmo 2-O (7B) — полностью открытая модель с контролем над всеми компонентами

Playground
HF

#vlm #multimodal

SAM Audio

Изолятор источников звука на аудио (или видео со звуком) в реальном времени от Meta (запрещено в РФ)

Принимает три типа подсказок: текстовые, визуальные и временные. Например кликаем на видео на источник звука чтобы выделить его

Умеет изолировать как повседневные шумы так и музыкальные инструменты

Гитхаб
HF - доступ к моделям по запросу, могут не дать
Playground
Блогпост

Спасибо @EvgenyiPerm

#audioseparation #music2stem #demix #unmix #segmentation #denoise #audio2audio #multimodal

TurboDiffusion

Ускорение диффузной видеогенерации в 100 раз

Заменили стандартный механизм внимания на микс из SageAttention2++ и Sparse-Linear Attention
Плюс, дистиллировали до 4 шагов.

На такой архитектуре сделали 3 модельки WAN 2.1 T2V и одну WAN 2.2 I2V
И пишут что это еще нефинальные

Теперь заживем

Гитхаб
HF

#text2video #image2video #optimization

ComfyUI обновил менеджер и прикрутил упрощенный интерфейс для скрытия структуры, лапши и вот этого всего

ComfyUI-Manager:

— может показывать подробную информацию о нодах до их установки, включая предварительный просмотр каждого узла в пакете

— устанавливает все недостающие узлы сразу, без необходимости делать это по одному

— обнаруживает конфликты зависимостей между пользовательскими узлами и показывает их с помощью визуальных индикаторов

— сканирует узлы и блокирует вредоносные, предупреждает пользователей о возможных угрозах

— ищет пользовательские узлы по названию пакета или имени отдельного узла

— поддерживает полную локализацию интерфейса

#comfyUI #news

Mistral OCR 3

Новая версия распознавалки текcтов документов от Mistral

Русский поддерживает

С недавно вышедшей HunyuanOCR почему-то себя не сравнивают

Playground
AI studio

#ocr #image2text #image2doc