Чтобы два раза не вставать, пришью другие любопытные применения Video-2-Video от самих Runway (с их подсказками) и народа с инета, включая Джона.

Как видно нейронке можно кормить как футаж снятый на что-угодно (они даже пробовали с плёночным фотиком).

Люди скармливают геймплейные кадры, пролёты дронов, трёхмерные нерфы и сплаты, собранные сцены в VR, t2v-генерации, итд.

Если в 3D нужно больше контроля в плане конструировании сцены и движениях камеры, а не хочется открывать Blender/UE, можно попробовать CInetracer.

Кстати выяснилось, что Jasper выпустили три контролнета на Flux: вчера я писал про вариант для апскейла, а там ещё есть карты глубины и нормалей.

Забирайте на хаггинге.

Если вы хотели научиться рисовать, или обучить детей. Две лоры на Flux:

1) Скетчи, которые и детям для раскраски пригодятся, и взрослым для стайлтрансфера. Модель на хаггинге и Civitai.

2) Пошаговое рисование, из разряда "Как нарисовать сову?". Используйте в промте слово How2Draw. Не со всеми концептами может сработать. Если что добавьте в промт step-by-step. Модель на хаггинге, онлайн демо раз и два.

Можно запускать прямо на страницах моделей, там где написано Inference API. Пишете промт и жмёте Compute. Работает кстати вроде лучше, чем две демки выше.

В Udio завезли тонкую настройку генерирования и редактирования текста песни.

Можно создавать по промту или генерить на случайную тему.

Если нужно внести правки, даёте комментарий туда же куда писали промт и жмёте Edit — нейронка причешет текст.

Отдельные слова/строчки можно править как ручками, так и перегенерить выделив их и нажав Edit with AI.

Ещё добавили теги, которые открываются нажав "/" в тексте песни и можно выбрать структурные элементы композиции: [Chorus] куплет, [Verse] припев, итд.

Твит
Сайт
Про Udio

Runway: режим Video-2-Video теперь есть и в Turbo версии Gen-3. До этого оно было только в базовой модели.

Также в Turbo завезли работу с вертикальными видео.

Твит
Сайт
Про Runway Turbo

Nvidia: представили Ctrl-X, фреймворк для генерации картинок по рефу.

Работает без промта (guidance-free) — через загрузку нужных примеров композиции и стиля. Но в отличии от похожих моделей на эту тему, в качестве рефа композиции могут выступать не только картинки, а объекты без текстур (например, 3D меши) и кондишены для контролнета (канни, нормали). Если что, промт тоже можно использовать: по нему будет сгенерирована картинка, которая пойдёт в пример структуры.

Фреймворк показывает себя лучше связки ControlNet + IP Adapter на задаче переноса стиля, там где много объектов. При этом чётче следуя заданной композиции.

Ctrl-X подключается к любым Text-2-Image моделям, не требует тренировки, и, по заверениям разрабов, шустр. Можно подрубить и к генераторам видео (в посте вариант на основе AnimateDiff), но об этом больше ничего не сказано.

Я пробовал установить, но некоторых паков нет на винду. Через WSL пока не получилось добить. У кого Linux, отпишитесь как потестите.

Сайт
Реддит
Гитхаб