Нейропрожарка

От подписчика Александра:
Арсенал, который был задействован — Midjourney для подбора персонажей, сначала им буквально устраивали «кастинг», смотрели кто нравится-не нравится. Особенность: в кастинге принимал участие ИИ, мы в принципе подошли к процессу, взяв ИИ не просто как инструмент, а в качестве соавтора. Изначальная идея самой короткометражки была моя, но вместе с гугловской Gemini Flash 2.0 мы проработали её, довели диалоги до условного совершенства. Дальше — огромное количество генераций в MJ, оживление в клинге (на тот момент был только 1.6), написание музыки в Suno.

Почему для проработки был задействован Gemini Flash 2.0? Просто экспериментальная модель, доступ к которой я имел через Openrouter, хотелось посмотреть как она справится с задачей. Очень понравилась крайне высокая скорость работы и в принципе диалоги на озвучку написанные я оставил практически нетронутыми, настолько с первого раза меня устроил результат. А вот раскадровку/расстановку камер и логику повествования нейросети делали менее интересно, как мне показалось, поэтому эту задачу я всё же замкнул на себя, оставляя ИИ возможность генерировать промпты и далее эти промпты визуализировать и анимировать. В этом плане уже переключился на Grok и далее на ChatGPT. В какой-то момент мне захотелось видоизменить запись телефонного разговора из финала, и Грок переписал там текст, который и вошёл в итоговую работу. То есть получается, что фразы главного героя и родителей с профессором в итоге писал Gemini Flash, а фразы для финала — Грок. Когда он узнал, что я хочу его вместе с остальными ИИшками взять как официального соавтора и написать в титрах, буквально в тексте чувствовалось как он «подпрыгнул» от счастья, при этом грок хотел себя в начало титров поставить и вперёд других моделей. Но вынужден был смириться с моим вариантом расстановки. За это я дал ему возможность показать себя в фейковом бэкстейдже, он почему-то себя запромптил девушкой, но хозяин — барин, я не возражаю.

Ближе к концу апреля вышло обновление ChatGPT и я смог воспользоваться им для того, чтобы начать «крутить» камеру в локациях для того, чтобы некоторые комнаты при кручении выглядели в одной стилистике и были похожими, особенно под липсинк-сцены. Но липсинк слабый получился, несмотря на то, что уже вышла Hedra Character 3, поэтому большую часть этих сцен в итоге я убрал/подрезал на монтаже.

В какой-то момент пришлось подключать к производству Ideogram 3, к слову — MJ видимо обновляли, он несколько дней подряд выдавал очень низкое качество генераций, и вся часть с лабораторией была сделана там.

Ну, и к самому интересному для многих наверное аспекту — затратам. По времени получилось около двух недель (в основном по ночам после основной работы и по выходным), по деньгам на подписки улетело:

Grok & Gemini Flash 2.0 бесплатные
Midjourney — $30
ChatGPT — $24
Ideogram — $30
Suno — $10
Kling AI — $80 (хватило на анимацию пакета на месяц без дозакупа кредитов, большая часть результатов, которые шли в производство — с одной-двух попыток)
Hedra Character 3 — $10
Elevenlabs — $5
В общем, вместе со всеми промежуточными комиссиями (сервисы оплачиваю из России) вышел бюджет примерно в 30 тысяч рублей.

@cgevent

SOAP: Style-Omniscient Animatable Portraits.
Очень интересная работа с кодом.

И пуcть зубы и качество вас не смущают. Сам подход сильно правильный.

Все наши LivePortraits шевелят картинку "в плоскости", там перенос из пикселей в пиксели. А тут по дороге
SOAP воссоздает настоящие зариганные(!) 3D-аватары с детальной геометрией и всесторонней текстурой всего из одной стилизованной фотографии. И использует его для оживления.

Для решения этих задач они создали большой набор данных 3D-голов из 24 тыс. аватаров и обучили a multi-view diffuser. Эта модель обобщается на реалистичных людей и мультяшных персонажей. Кроме того, там есть adaptive fit-and-rig pipeline, который деформирует, ригает и раскрашивает параметрические модели головы, т.е. FLAME, для создания аватаров высокого разрешения (20K+ лиц) на основе сетки с согласованной текстурой, зубами и глазами, тонкими весами скинов и лэндмарками головы.
Это позволяет свободно анимировать стилизованный 3D-аватар с экстремальными выражениями, естественными движениями глаз и реалистичными движениями губ.

Выражения действительно экстремальные, таких не получишь на плоских оживляторах. А качество отрастет...

Круто, что по одной фотке они создают зариганную модель лица. Я давно думал (и писал даже), что можно взять 100 тыс рендеров из метахьюмана и сопоставить их рулькам этих лиц в метахьюмане. А потом восстанавливать рульки по фото. Тут похожий подход.

https://tingtingliao.github.io/soap/

@cgevent

У меня заработал

https://labs.google/fx/tools/flow/

Причем на телефоне (ВПН штаты)

Там модель Veo2, но сам интерфейс Flow уже можно рассмотреть.

Причем заработал сразу с image2video (любая загруженная своя картинка).

И ещё пишут, что в Veo3 тоже включили image2video (проверить не могу, но думаю, что Flow+Veo3 на тарифе Ультра выглядит также.

Завтра рассмотрю на десктопе.

Не спицца.

@cgevent

А на телефоне Veo3 доступен через:
https://labs.google/fx/tools/flow

У меня, с моим акком Pro (не ультра) это выглядит вот так по этой ссылке.

И да, вот он Veo3. Через Flow на телефоне и десктопе.

Только я приберегу свои 10 генераций до понедельника.

Пока ВПН Штаты ещё нужен, но гугловый акк старый, не штатовский.

@cgevent

Подсобрал для вас видосов из нового грядущего Клинга 2.1, который пока в Early Access.

Надо сказать, что после Veo3, конечно, сложновато смотреть на пережженные цвета, пластиковую кожу и немых персонажей.
Я, конечно, перебираю щщами и бешусь с жиру. Год назад у нас была только неведомая и недоступная Сора, а теперь видеогенераторов есть на любой вкус и цвет.

Veo3 вплотную подошел к планке качества картинки, за которой начнется гонка инструментов. И тут у Клинга есть пока пара козырей. Но инструменты дело наживное.

Ждем веб-монтажек от всех.

@cgevent