Linum v2

Два брата, Сахил и Ману, за два года с нуля разработали модель для генерации видео из текста. Модель имеет 2 миллиарда параметров и создаёт видео длиной 2–5 секунд в разрешении 360p или 720p

— Использует T5 для кодирования текста.

— Применяет Wan 2.1 VAE для сжатия.

— Имеет backbone на основе DiT с обучением через flow matching.

— Может генерировать видео в мультяшном и анимационном стилях, с сценами еды и природы, простым движением персонажей

— Пока не справляется со сложной физикой, быстрым движением (например, гимнастикой или танцами) и согласованным текстом

Разработчики планируют улучшить модель: доработать физику и деформации, ускорить работу через дистилляцию, добавить аудиовозможности и масштабировать модель.

Гитхаб
HF

Спасибо @p0lygon

#text2video

houdini-comfyui-bridge

Опенсорсный плагин для использования ComfyUI прямо в Houdini

— загружает узлы ComfyUI в COPs

— импортирует и экспортирует данные из ComfyUI — генерирует изображения, меши, аудио и прочее

— даёт возможность создавать кастомные пайплайны, которые объединяют CG с диффузионным и генеративным ИИ через TOPs submitte

#houdini #comfyui #3d

Motion 3-to-4: 3D Motion Reconstruction for 4D Synthesis

превращает обычное видео в 4D-объект. Модель берёт одно видео и, если нужно, 3D-модель, и делает из них динамичный 4D-объект

— разбивает задачу на две части: сначала создаёт статичную 3D-форму, потом восстанавливает движение

— использует специальную «базовую» 3D-сетку, чтобы лучше понимать движения

— предсказывает, как будут двигаться точки в каждом кадре, чтобы объект выглядел реалистично и не «разваливался»

Гитхаб

#videoto3d #videoto4d #3d #4d

ActionMesh: Animated 3D Mesh Generation with Temporal 3D Diffusion

Похожая, но полкруче модель от Meta (запрещено в РФ) создает анимированную 3D-модель по видео. Также может анимировать по текстовому промпту, или сделать модель из изображения и анимировать ее

Гитхаб
HF
Демо

#videoto3d #videoto4d #3d #4d