Runway: показали экспериментальный прототип интерфейса в виде графа для генерации кадров и видео.

Цель состоит в том, чтобы убрать ограничения традиционного пайплайна/софта для создания видео, дать возможность открыто экспериментировать в латентном пространстве, при этом сохранить контроль за визуалом.

Генерация кадров, их редактирование через img-2-img, а также использование начального и конечного кадра как ноды, выглядят знакомо пользователям Comfy.

А вот дальше начинается интересное. Между нодами генерятся промежуточные кейфреймы, каждый из которых можно форкнуть в отдельную ветку, и соединить, например, с альтернативным кадром сцены. Дальше хочешь развивай эту ветку (и может вырастет дерево), хочешь закольцуй с уже имеющимися кадрами. Ещё это напоминает гитхаб с версированием, форками, коммитами, главной веткой, итд.

Можно собрать нелинейный таймлайн из разных сюжетных линий, выбрать понравившиеся элементы, и экспортировать ту версию сценария, которую хотел бы посмотреть. Заодно выбрать кто будет в главных ролях или себя с друзьями впилить. Была бы ещё возможность детально управлять содержимом кадра, движениями, репликами, аудио, итд.

Вполне возможно монетизация тут будет за использование твоего лица/голоса/музыки из каталога, или при совпадении с загруженным контентом от пользователя. Если что, народ запилит это в опенсорсе с прозрачными автоматизированными выплатами по смарт-контрактам за использование чекпоинта или датасета человека/произведения.

Пока это ранний прототип и пощупать нельзя, но уже выглядит интересно.

Сайт

Tencent: выпустили опенсорсный видеогенератор HunyuanVideo.

По качеству (черрипиков) выглядит неплохо: лучше, чем Allegro, но тесты покажут насколько годнее Mochi-1 или LTX. Опять же, для чего-то абстрактного, не лезущего в сторону зловещей долины, может подойти. Из интересного — монтаж кадров промтом: описываешь две сцены, детали для камеры, и получаешь естественный переход. Плюс генерация со звуком как в Movie Gen.

Для генерации 544px960px129fps понадобится 45 ГБ VRAM, а для 720px1280px129fps 60 ГБ. При этом авторы рекомендуют не мелочиться и гонять на 80 ГБ VRAM. Есть веб демо, но нужна китайская симка. Альтернативно имеется колаб.

Для Mochy тоже по началу нужно было 4 H100, а в итоге оптимизировали под запуск на 4090. Kijai уже ваяет адаптер под Comfy.

В целом тренд релиза таких прожорливых моделей навевает мысли, что толи в 5090 будет памяти больше слухов и китайская братия об этом знает, толи разрабы двигают развитие multigpu в рамках одного компа или распределёнку, толи считают что народ сам или с помощью нейронок (возможно будущих) адаптирует это под актуальное железо.

Пока HunyuanVideo работает только в text-2-video. Позже подъедут image-2-video с чекпоинтами, Gradio демо, официальное Comfy, и diffusers.

Будем следить за развитием событий.

Сайт
Гитхаб
Comfy (Kijai)
Хаггинг
Демо (сайт)
Демо (колаб)

Следующим у нас идёт FREY_Глеб.

Он сделал воркфлоу для Mochi-1, где выходное видео апскейлится и сразу идёт в mp4 без необходимости ручной конвертации из webp. Можете опробовать воркфлоу закинув в Comfy картинку из этого поста или вот json файлик (лишние элементы внизу можете удалить).

Глеб появился с нами недавно, но очень активно в чате делится разными тестами, воркфлоу, и генерациями (например, раз и два).

А ещё он ведёт свой канал ArtStory, на котором думаю интересного будет всё больше.

Все звёзды с этого поста пойдут Глебу.