Adobe: ...ты ли это?

Представили метод Self Forcing, позволяющий генерить видео реалтайм в режиме стриминга на одной 4090.

Технология имитирует процесс инференса во время тренировки видеомодели, выполняя авторегрессионную развертку с KV-кэшированием. Это позволяет добиться высокого соответствия выходных результатов оригинальным видосам.

Сделали модель на основе Wan 2.1, которая после разогрева в 0,8 сек генерирует 480p 10 fps в реалтайме на 4090. На H100 выдаёт 16 fps. В целом по требованиям нужно минимум 24 ГБ VRAM и 64 ГБ RAM (первый раз как-то явно RAM прописывается).

В отличии от большинства анонсов Адоба, где тебе только пускают бумажную пыль в глаза, здесь есть код. Но тестировалось только на Linux. Ну штош Ubuntu, настало твоё время.

Сайт
Гитхаб
Хаггинг

Работа члена нашего сообщества @evgenypyrev

Дальше слова автору:

Привет! Коммент к кейсу

Чтобы сделать этот ролик и понять, что подойдёт под нашу задачу, нам понадобилось протестировать все самые современные модели генерации видео.

На самом деле первая версия, которую мы сделали, была достаточно простой и плоской — мы выбрали чисто иллюстративный стиль. Но в процессе генерации мы обнаружили, что нейросети придают плоской иллюстрации необычный объём.

Зацепившись за этот подход, мы решили сделать стиль, похожий на анимационный фильм «Spider-Man».

Производственный стек: Runway, Sora, Flow, Kling, Krea, Midjourney, Higgsfield, Luma, DaVinci Resolve, Adobe After Effects.

Также мы поставили себе задачу сделать ролик насыщенным брендингом. Поэтому все актёры в кроссовках Adidas с узнаваемыми тремя полосками, а логотипы появляются в течение всего ролика.

Кроме того, мы постарались выдержать единый сеттинг по цвету и стилю, что было непросто, так как генерация пока не сильно управляема. Мы в основном использовали image-to-video, поэтому перед генерацией приходилось дорабатывать имиджи вручную.

Ещё протестировали технологию наложения на видео определённого стилистического фильтра — в некоторых кадрах это получилось сделать.

Мы считаем, что при создании AI-видео прежде всего нужно добиваться цельности. Это помогает создать ощущение, что это не просто нарезка кадров, а цельная история, в которую веришь.

Нам часто задают вопросы, как мы это сделали, и многие даже переспрашивают: «Точно вы делали это видео?».
На самом деле это приятно :) и мотивирует создавать ещё больше новых роликов.

Щи Продакшен
Режиссёр, AI-продюсер — Евгений Пырьев @brandiver
AI-продюсер, моушен-дизайнер — Александр Мартынов

Только мы разговаривали про 4D видео из сплатов, где можно свободно менять угол обзора, но нужен риг из множества камер.

А сегодня Nvidia опубликовала код видео модели GEN3C, в котором можно брать на вход одну картинку, двигать камерой внутри сцены словно в 3D пространстве, и получать видео с нужным пролётом камеры. Альтернативно можно подавать несколько картинок или видео.

Под капотом используется 3D кэш в виде облака точек, полученного из карты глубины изображения или вытащенных кадров. Для генерации новых видов GEN3C задействует траекторию движения камеры от юзера и 2D рендеры 3D кэша. GEN3C можно подрубать к разным видео генераторам, например, видосы выше сгенерированы в Cosmos и есть примеры на SVD.

Про потребление VRAM не сказано, однако чуваку в твиттере 48 ГБ VRAM не хватает. Есть скрипт для запуска на одном GPU и на Multi-GPU. Зато интерфейс с рульками удобными. И да, только Linux... хэй Ubuntu... кыс-кыс!

Сайт
Гитхаб

Fal: говорят, что они первыми наваяли у себя вертикальные видео в Veo3.

Проблема в том, что похоже это аутпейнт. Причём и на сайте у них, и в превью на компе — полученное видео отображается как вертикальное, а стоит его воспроизвести или загрузить в телегу, ты видишь только горизонтальное (см. второе видео). Что занятно, первое видео скачано из твиттера FAL и оно действительно вертикальное.

А ещё сами гугл выкатили Veo3 Fast, доступную во Flow и приложении Gemini. Цена в 5 раз дешевле (20 кредитов против 100 за видео), скорость в 2 раза быстрее, качество и длительность те же: 720p и 8 сек. Третье видео Fast, четвёртое Quality.

Fast больше подходит для превью перед генерацией в качестве. Но народ в целом жалуется в твитторе на Veo3 из-за высокой стоимости, и запоротых генераций, за которые всё равно идёт списание.

Святые опенсорсные люди объединили в одну модель FusioniX последние наработки по Wan, чтобы генерить видео в высоком качестве, быстро, с контролем кадра, и изначально в Comfy.

Под капотом:
* CausVid – для динамики и плавных движений
* AccVideo – для стабильности картинки и скорости
* MoviiGen1.1 – освещение и кинематографичность
* MPS Reward LoRA – затюнено на динамику и детали
* Кастомные лоры – текстуры, чёткость, и детализация

Сборка на основе модели Wan размером 14B, поэтому лучше иметь 24 ГБ VRAM или больше, хотя есть и пожатые GGUF версии, если мало видеопамяти. Веса есть для t2v, i2v, VACE и Phantom моделей в вариантах fp16 и без указания точности.

Понимание промта такое же как у базового Вана. Чем детальнее, тем лучше. Если что заходите на сайт Wan, вкидывайте короткий промт, расширяйте его, копируете и вставляйте в Comfy. Или вот, они сами предлагают генератор промтов в ChatGPT.

Я погонял на 4090 на базовом воркфлоу без контроля позы. Действительно генерит шустро, сохраняя детали. Цвета только тянет в более насыщенные, и камеру норовит перевести на ручную там, где не просишь.

Мех котэ из этого теста наконец-то стал ощутимо колыхаться. При этом не понадобилось упоминать, что идёт снег и мех в снежинках — модель это сама считала с картинки.

По умолчанию стоит генерация в 10 шагов, но пишут, что годные результаты можно и с 6-8 получить. И это без оптимизаторов а-ля torch compile, block swaps, tea cache, итд. Последним говорят не пользоваться.

1024х576x16 fps генерится ~5 минут
1280х720х16 fps печется ~10 минут
752х608х16 fps c зимним котэ заняло ~3 минуты

Ноды Kijai поддерживаются из коробки.

Если нужно прибавить динамики и минимизировать слоумо, ставим фреймрейт 24 fps, а длину 121 кадр.

PS: Миджорни... можешь не выходить.

Хаггинг
Хаггинг (у кого мало VRAM)
Comfy воркфлоу
Генератор промтов