Новости из будущего: снова Alibaba, только на этот раз они с Turbo версией Flux, которая должна выйти 16 октября, но уже лежит на хаггинге.

Turbo является дистиллированной версией Dev, и заточена генерить в 8 шагов. На картинке сравнение результатов базовой Dev в 28 шагов и Turbo в 8.

Может работать как просто для генерации картинок, так и в связке с контролнетами или лорами.

Ворфлоу для комфи на странице модели.

Хаггинг

Найден способ повысить в fps в нейро контре. Нужно повернуться вправо, посмотреть вверх, и присесть. Заодно и звук появится.

Adobe: на мероприятии Max сделали несколько анонсов.

Генеративная модель Firefly теперь вшита в Premiere и может использоваться для расширения видео, создания B-роллов на основе картинок, или добавления эффектов.

Судя по черрипикам контекст видео для продолжения ухватывает хорошо, а вот по качеству пока MiniMax, Kling, Movie Gen, и Runway лучше.

В бете нового премьера уже должно работать, но понадобится подписка Creative Cloud. Шустрые подписчики уже рапортуют, что зарубежный IP не нужен. Вейтлист в генератор видео на сайте тут.

Фича Generative Fill вышла из беты и начинает широко внедряться в продукты компании. А генеративная стёрка обновилась и стала лучше удалять объекты с контента.

Пост
Видео с мероприятия

Также Adobe выкатили бета-версию Substance 3D Viewer. С помощью этой фичи можно вкидывать 3D объекты прямо в фотошопе, крутить их там как угодно, и быстро собирать дизайны продуктов. 3D контент будет восприниматься как смарт-объекты.

В Illustrator при этом добавился показанный в мае Project Neo, которым можно в изометрии собрать из 3D объектов сцену в нужном ракурсе, и потом экспортировать в редактируемом векторном формате или растре. Плюс появилась фича Objects on Path, позволяющая сгруппировать и перемещать объекты по направляющей.

InDesign теперь тоже располагает генеративным расширением изображения и text-2-image. А в Lightroom завезли Generative Remove для более аккуратного выделения и удаления объектов.

Пост

Замес из Runway Gen-3 и AR.

Стильный писксельарт и минимум динамики, скрывающие огрехи нестабильности, делают своё дело.

Надписи правда пожеванные, и машина едет задом наперёд по встречке. Но кому станут камнем преткновения такие низменные, словно пыль, детали, когда обращаешься к высокому.

Твит

Потестил InstantSplat.

Я постоянно высматриваю модельки, которые могли бы очень быстро из твоих фото собрать тебе сплаты. Postshot делает хорошо, но в 4 захода в общей сложности минут на 8-15 на небольшом датасете. И это всё-таки отдельная апа со своим UI.

Хайп-пыли без кода и демо вагон, а за тем, что можно было бы реально пощупать ведётся пристальный пиксельхантинг с собаками.

А тут Nvidia недавно выкатила InstantSplat, где есть возможность из нескольких фоток быстро получить 3D сцену. И это можно сделать частью пайплайна.

Также интересна и реализация сообщества (pablovela), ибо тут тебе и виюпорт, где ты можешь крутить сцену как хочешь, и процесс трени показан, и когда наводишь на фото или место в сцене тебе показаны откуда они, и можно сразу облако точек в .ply скачать.

Да, пока качество не очень, но для 3D копии объекта меньше, чем за 1 минуту (!) на 5 фотках (!) результат отличный. Дальше оно будет оптимироваться и становиться только лучше.

Можно даже локально развернуть. Правда пока с вариантом от pablovela наткнулся на невозможность запустить на винде. Я по такому случаю даже юбунту в виртуальной машине накатил, буду теперь тестить. Заодно и NerfStudio с остальными Linux-first потрохами будем заводить.

Сайт
Демо (pablovela)
Гитхаб
Демо (Nvidia)
Гитхаб

Апдейт для E2F5 в пинокио уже подъехал. Модель подрубили к официальному репо в гитхабе и обновили до всех последних фишек.

Теперь можно локально делать подкасты, генерить в разных эмоциях, и регулировать скорости речи/паузу.

Если update в боковой панели не обновит модель, то снесите её, закройте пинокио, и поставьте E2F5 заново.

Установка через Pinokio
Про E2F5