Метаверсище и ИИще

Нейророжарка

У дядюшки Томпсона. Неофициально видео. Аквариум.

Автор: Сергей Макаров

Этот клип делался примерно год. Началось всё с того, что я экспериментировал с моделью Flux в Forge локально у себя на компе с картой 3090. Пробовал интересные промпты, подсмотренные на Civitai, изменял их, накручивал, и нагенерил за осень огромное количество разных картинок.

Потом весной, когда появилась первая модель Minimax, я стал экспериментировать с анимацией картинок из своего архива, выполнил несколько коммерческих заказов, и по ходу мне пришла в голову идея сделать таким способом клип на одну из старых песен Аквариума. Дело в том, что на песни Pink Floyd в мире наперегонки делают AI видео все, кому не лень, а Аквариум у меня на втором месте).
      И вот одна серия картинок у меня в голове сложилась с песней «У дядюшки Томпсона». В песне мало слов и поэтому сначала я подумал, что достаточно будет нагенерить видео смешных персонажей, танцующих и играющих на музыкальных инструментах. За май и июнь я нагенерил довольно много таких шотов, но руки никак не доходили до монтажа.

Летом несколько раз приступал к отсмотру и обдумыванию материала. Переслушал песню и понял, что после второго куплета там полторы минуты идёт разный кавардак со всякими наложенными звуками, на который танцы уже не ложатся. Есть такой сайт Михаила Кожаева, на котором автор сайта разбирает разные песни Аквариума на предмет осмысления, что же БГ имел в виду. По «Дядюшке» оказалось целых два поста, которые натолкнули меня на новые идеи.

       Следующий скачок был с появлением сначала Flux.Kontext, а потом QwenEdit, из-за чего стало возможным попробовать догенерить консистентных персонажей, с которыми можно уже попробовать создать историю. Пения в кадре я сначала не планировал, потому что LivePortrait уже стал смотреться устаревшим из-за нехватки динамики.

Но вот в августе появились одна за другой модели для липсинка на базе Wan. И я стал генерить ещё и пение. Я далеко не каждую неделю даже вспоминал про этот проект, есть много других дел. В ноябре наконец решил, что пора заканчивать, и стал помаленьку монтировать, придумывая на ходу новых персонажей, потому что история начала вытягивать сама себя. И вот когда я половину уже смонтировал, в конце декабря на меня свалился нежданный подарок – на сайте Hailuo у меня годовая подписка standart, и я обнаружил, что могу бесплатно безлимитно пользоваться Нанабананой до 31 декабря. И в тот же день обнаружил что на сайте Wan можно генерить новыми моделями 2.5 и 2.6 за кредиты, которые подкидывают каждый день. Нанобанана взорвала мой мозг, а новые модели wan показали такой прирост качества по сравнению c wan2.2 и Hailluo, что я неожиданно для себя взял и перегенерил заново примерно три четверти пошедшего в монтаж материала, причем за какие-то 2-3 дня.

    Таким образом оценить, сколько времени у меня ушло в итоге на всю работу, невозможно.

    По технологии получается так:
генерация исходных картинок – Flux 1 в Forge, QwenEdit, Nanobanana.
Генерация видео – Hailuo 2.0 (мало что осталось), wan2.2 (мало что осталось), wan2.5. Самое сложное оказалось - заставить мышь вращать рукоятку шарманки. Это очень хотелось поставить в начале, под соответствующие звуки, шарманку или musicbox. Что только я не пробовал, не получалось. Единственная модель справилась более-менее - Veo3, который доступен на сайте Hailuo. И это единственный шот от Veo3, потому что для хобби-клипмейкерства он дороговат, на мой взгляд.)
Пение – HuMo, InfiniteTalk (локально), wan2.5
Монтаж - Adobe Premiere. Затраты на этот клип – свободное время, электричество потраченное компьютером. Но их можно считать потраченными и на освоение разных инструментов генерации, поэтому скорее не затраты, а сплошная польза).

@cgevent

👎52👍21❤8🔥4😱2

7.05K viewsSergey Tsyptsyn ️️, 15:11