Жилзона. Кода. 😌 Zhilzona. Coda.

Midjourney · PyramidFlow via ComfyUI · Suno · Topaz Video AI · CapCut Pro

Жилзона: Концепция · Spotify · Кибераутизм

Максимально экспериментальное произведение в концепции Жилзоны, на генерацию которого я не потратил ни копейки денег (речь про видео). Впервые я использовал (и тестировал одновременно) локальную модель img2video PyramidFlow в рабочем воркфлоу для ComfyUI. В качестве исходных артов генерации Midjourney без какой-либо пост-обработки и апскейла.

Генерации шли в размере 640x384px, при дальнейшем апскейле до 1200x720px и двойном улучшайзинге через две модели Topaz Video AI. Исходный 24fps я потом поднял до 30-ти, а в 50fps выглядело не очень естественно для такой динамики. 5-ти секундный ролик на RTX 4090/24Гб и 64Гб RAM генерился в районе 1 мин 15 сек (плюс секунд 30 на Топазе). Но это обманчивые цифры, так как брак модели составлял примерно 50%.

Основной задачей было протестировать PyramidFlow на динамических и статических вводных изображениях, управляя движением камеры и динамикой промптом, а так же через параметры ноды. На видео вы можете увидеть, как модель справляется со сценами в динамике, статике, с глубиной сцен, с управлением несколькими объектами в одной сцене, с второстепенными объектами, мелкими деталями, погодными эффектами и освещением, цензурированным контентом (с ним все хорошо). Это не шевеляж, а именно диффузионная генерация, то, что делают коммерческие модели. Я рандомно сравнивал генерации с Gen-3 и хочу сказать, что Gen-3 по полной соснул в некоторых сценах от слова полностью (я не про разрешение и качество).

Да, не хвататет динамики в ценах. Да, не хватает когерентности к концу видео. Да, не для всех объектов просчитывается динамика так, как бы хотелось ее видеть. Да, меняется цвет сцены под конец генерации. Да, шаг влево-шаг вправо и видео распадается. Но! Это огромный скачок по-сравнению с тем, что мы видели хотя бы 3 месяца назад. И дальше будет, я верю, я это предсказывал, только лучше.