FaceFusion: этот дипфейкер обновился до V 3.

Что нового:
* Редактирование ползунками мимики и положения головы, как в LivePortrait.
* Омоложение/состаривание персонажа.
* Улучшение изображения через Pixel Boost.
* Обработка распознавания лица с разных углов обзора, чтобы дипфейк не слетал на поворотах головы.
* Добавлен улучшатель изображения real_esrgan_x8.
* и много другого по-мелочи.

Гитхаб
Установка через Pinokio
Портативная сборка от Neurogen

Потестил CogStudio.

Это опенсорсный фреймворк от создателя Pinokio для генерации видео в разных режимах:
* text-2-video
* video-2-video
* image-2-video
* extend video

Под капотом китайская CogVideoX 2B / 5B. Возможно будет расширяться и Flux Video на выходе сюда тоже заедет.

В img-2-vid кадр держит консистентно, не кипит. Какое-то понимание мира вокруг и взаимодействия объектов между собой есть. Качество и детализацию не сильно зажёвывает.

На выходе 6 сек видео и гифка разрешением 740x480 в 6 fps. Есть встроенный апскейлер до 2880х1920, но он сильно смазывает детали, так что лучше использовать на чём-то вроде дальних планов, пейзажей, итд, а не на лицах крупняком. Альтернативно юзаем Topaz для апскейла и Flowframes для интерполяции кадров.

Промта слушается когда-как. Хорошо работает там, где объект более-менее статичен в центре и нужно анимировать фон, или наоборот, а также лёгкой имитации ручной съёмки. Тяжело даётся динамика: чем её требуется больше, тем модели сложнее. Частично можно компенсировать детальностью промта.

Контроль через сид, количество шагов, итд на месте. Но нужно завозить рульки типа Kling Motion Brush или DragNuwa.

Для улучшения промта опционально подрубается API от OpenAI. Хотя можно спокойно использовать опенсорсные мелкие модели типа ламы 3.1, qwen, phi, или кого ещё.

Из интересных плюшек:
* Сгенерированное видео можно послать в vid-2-vid, например для смены стиля или как указания движения объектам на новом видео.
* Или отправить видос на extend и расширить его не с конца, а с выбранного кадра, создавая ответвление. Правда с каждым последующим расширением качество будет падать.
* Generate forever на репите генерит видео по промту пока не остановишь. Может пригодиться если ушёл пить кофе/уснул, а когда вернулся у тебя уже есть вагон вариантов видео.

В txt-2-vid режиме 2B модель потребляет в районе 4-5 ГБ VRAM с частичной выгрузкой в RAM, и на видео уходит ~4 мин. Если отключить CPU offload, то скорость станет ~2 мин, но уже понадобится 18-19 ГБ VRAM.

5B модель в 24 ГБ VRAM уже не поместится и будет генерить только с выгрузкой в RAM. На 1 видео уже уйдёт ~10 мин. Качество картинки станет получше, но всё-равно пока так себе.

А вот в img-2-vid уже более годные результаты. Чем качественнее изначальный кадр, тем лучше видео на выходе. Закидаем свои картинки из Midjourney, Flux, SDXL, итд, вбиваем промт подетальнее и вперёд. Так как в этом режиме работает 5B модель и нет отключения CPU offload, то потребляется 5-7 ГБ VRAM остальное идёт в RAM, и на 1 видео в 50 шагов уходит ~10 минут.

Это конечно быстрее, чем на бесплатных тарифах Runway, Kling, Luma, итд ибо на них сейчас вообще не погенерить — только на платных. Но хотелось бы скорости. Пофиксят это + нарастят контроль с качеством, и будет гуд.

Гитхаб
Pinokio

Flux Dev2Pro: базовая модель FLux из коробки хорошо умеет в детализацию и текст. Но некоторые недовольны лорами получаемыми на её основе, и тем, что тюнить её сложней, чем SD 1.5 или SDXL.

Технической документации на Flux нет, поэтому народ занимаются реверс инжинирингом, пытаясь из дистиллированной Dev версии воссоздать Pro, которой нет в опенсорсе.

Так недавно появилась Dev2Pro. Это модель натренированная на Dev, используя 3 млн высококачественных изображений при guidance = 1, чтобы приблизиться к Pro по настройкам и избавиться от модели учителя. Подробнее об этом подходе написано тут.

Полученная модель Dev2Pro пригодна только для тренировки лор на её основе, а не инференса — генерации надо делать используя Dev (также как лору полученную из SDXL можно гонять в SDXL-Turbo).

По первым отзывам, лоры из Dev2Pro показывают более качественные результаты. Я потестил, пока 50/50: где-то хорошо следует промту, а где-то выдаёт одинаковые результаты.

Тренировать на основе Dev2Pro можно в FluxGym или OneTrainer, например.

Пост
Хаггинг