Psy Eyes
6.8K subscribers
1.43K photos
1.57K videos
5 files
1.55K links
Креатив + AI + Web3... и мемы

Личная страница @AndreyBezryadin

Купить рекламу: https://telega.in/c/Psy_Eyes
Без наценки Telegain и индивидуальными датами — в личке.
Download Telegram
Святые опенсорсные люди объединили в одну модель FusioniX последние наработки по Wan, чтобы генерить видео в высоком качестве, быстро, с контролем кадра, и изначально в Comfy.

Под капотом:
* CausVid – для динамики и плавных движений
* AccVideo – для стабильности картинки и скорости
* MoviiGen1.1 – освещение и кинематографичность
* MPS Reward LoRA – затюнено на динамику и детали
* Кастомные лоры – текстуры, чёткость, и детализация

Сборка на основе модели Wan размером 14B, поэтому лучше иметь 24 ГБ VRAM или больше, хотя есть и пожатые GGUF версии, если мало видеопамяти. Веса есть для t2v, i2v, VACE и Phantom моделей в вариантах fp16 и без указания точности.

Понимание промта такое же как у базового Вана. Чем детальнее, тем лучше. Если что заходите на сайт Wan, вкидывайте короткий промт, расширяйте его, копируете и вставляйте в Comfy. Или вот, они сами предлагают генератор промтов в ChatGPT.

Я погонял на 4090 на базовом воркфлоу без контроля позы. Действительно генерит шустро, сохраняя детали. Цвета только тянет в более насыщенные, и камеру норовит перевести на ручную там, где не просишь.

Мех котэ из этого теста наконец-то стал ощутимо колыхаться. При этом не понадобилось упоминать, что идёт снег и мех в снежинках — модель это сама считала с картинки.

По умолчанию стоит генерация в 10 шагов, но пишут, что годные результаты можно и с 6-8 получить. И это без оптимизаторов а-ля torch compile, block swaps, tea cache, итд. Последним говорят не пользоваться.

1024х576x16 fps генерится ~5 минут
1280х720х16 fps печется ~10 минут
752х608х16 fps c зимним котэ заняло ~3 минуты

Ноды Kijai поддерживаются из коробки.

Если нужно прибавить динамики и минимизировать слоумо, ставим фреймрейт 24 fps, а длину 121 кадр.

PS: Миджорни... можешь не выходить.

Хаггинг
Хаггинг (у кого мало VRAM)
Comfy воркфлоу
Генератор промтов
4
Больше контроля для Flux и Wan!

Normalized Attention Guidance (NAG): диффузионным моделям генерящим в несколько шагов, как Flux Schnell и или Wan CausVid не хватает поддержки CFG, что делает негативный промт неэффективным.

NAG восстанавливает эффективность негативного промта, позволяя контролировать, что должно быть в кадре, а чего нет. Плюс улучшается общее следование промту вместе качеством и детализацией. Можно избавиться от характерного пластикового стиля Flux (или минимизировать его).

С обычными недистиллированными моделями вроде Flux Dev или SD 3,5 Large тоже работает, и идёт как дополнение к CFG, улучшающее результат.

Kijai уже подрубил в Comfy ноды KJNodes и WanVideoWrapper. Обновите их и у вас в поиске должна появиться нода WanVideoNAG. Для Flux нод пока нету.

Демо (Wan)
Демо (Flux Dev)
Демо (Flux Schnell)
Сайт
Гитхаб
Media is too big
VIEW IN TELEGRAM
Если интересуетесь фотореализмом, вот вам два виртуальных тура погулять по музеям:

Ainola
Suviranta

В воздузе висят кнопки с голосовыми комментариями от гида.

PS: я жму E, но лут не берётся.
This media is not supported in your browser
VIEW IN TELEGRAM
Tencent: выпустили Хуньянь 3D 2.1.

Заменили модель для генерации текстур c RGB на PBR, которая использует физическое моделирование материалов для создания текстур с фотореалистичным взаимодействием света (например, отражения на металле).

Также выпустили тренировочный код и модели на хиггинге.

Для генерации меша нужно 10 ГБ VRAM, текстур 21 ГБ VRAM, а текстурированного меша 29 ГБ VRAM.

Хуньянь 3D 2.5 пока всё также не в опенсорсе.

Демо
Сайт
Гитхаб
Хаггинг