Illuminate прольет свет на Google I/O.

TL;DR - PDF TO VIDEO

В прошлом году все писали про Google Illuminate - сервис, который генерирует целые подкасты из любого PDF с помощью ИИ.
Можно давать статьи и даже книги. Получите великолепное чтиво по ролям простым языком на сложные темы.

Так вот, за это время сервис вышел из вейт-листа (у меня работает под штатовским VPN). Там два раздела примеров: From research papers и From Books. Прикольно, что можно сделать гугло-поиск и потом включить в подкаст НЕСКОЛЬКО найденных работ.

Но это еще не все!

У некоторых юзеров появились экспериментальные элементы управления, такие как кнопка «Изменить», переключение подписей и даже генерация изображений для фотографий обложек.

Но и это еще не все!

А как насчет ВИДОСОВ из пдф или ссылок?!!

На некоторых гугл аккаунтах на сайте Иллюминейт появился новый раздел под названием Sparks, помеченный как Early Preview. Его описание гласит: «Представьте, что любой вопрос может быть мгновенно преобразован в короткое видео, на 100% сгенерированное ИИ ». В шапке приведены образцы вертикальных видео, обычно продолжительностью от одной до трех минут, охватывающие различные темы.

По некоторым слухам, под капотом может быть Veo3 (который возможно покажут на I/O).

Но елы-палы, до чего мы до катились!

На входе ссылки или книги, на выходе видео по мотивам этого материала.

Поглядите примеры. Это, конечно, не готовые видосы для анимации и кино. Но это очень сильно напоминает по вайбу все эти видосы на заднем плане (или на переднем) во всяких образовательных, новостных или инфо-цыганских видосах с ютюба. Мельтешение на тему. Причем порой очень осмысленное. Со временем качество подтянется и осмысленность тоже.

Гугл щас расстреливает мамкиных технических видеоблоггеров. И нутрициологов. И онолитегов. Инфлюенсеров, короче.

А сколько стартапов полегло на поле "генерим видео по вашим\нашим сценариям"...

Ох, ждем Google I/O

@cgevent

Live Portrait или Deepfake с помощью VACE.

В коментах умныя подписчики написали:

Помимо выхода нового Vace, на свет был откопан CausVid. С помощью KJ и коллективного разума эта хреновина была заделана в Лору и успешно протестирована.

Благодаря хитрожопой связке T2V-14b-Wan(модель)+14b-Vace(модуль)+14b-CausVid(Лора) - на вход можно подать референс имидж и получить по сути I2V.

В общем я на выходных заморочился, в который раз переразвел этот ваш сраный ComfyUI, сломал голову над обилием версий Wan и VACE (официальная, от Комфийщиков, от Киджайя, не дай бог смешать ненароком), разыскал в твитторах вменяемый воркфлоу для 1.3B, переделал его для 14B и немного погонял на А100.

Результат - последнее видео.

Памяти жрет 32 гига где-то (на 1.3В - 27).
Вот такое видео генерит 7 минут, и виной тому та самая магическая Лора CausVid, которая позволяет считать всего на 4 шага (магия, реально).
Если убрать Лору и оставить 4 шага, будет как на первом видео (недолёт).

В общем покидайте сюда звездочек, а я вечером расскажу, откуда что брать, куда класть, как обгонять, как подрезать.

Ну и кстати, примерчики в интернете ловкие, потому что берут первый кадр, стилизуют его под диснея или аниме, и подают как реф картинку обратно (так рунвей делает), поэтому перенос получается идеальный. Если взять свою картинку, все не так сладко.

@cgevent