3D Photo Inpainting — метод преобразования 2D изображения в 3D фото.

Изображение делится на слои, которые могут быть интерпретированы для генерации новых углов обзора. В таких частях кадра нейронка галлюцинирует цвет и глубину картинки, чтобы заполнить пустоту.

Сайт
Гитхаб
Демо

Дайджест:

📹 ВИДЕО + АРТ 🎨

ShapeClipper: генерация 3D-мешей по одной картинке.

🎸 ЗВУК 🎸

Демо MMS, инструмента для перевода на 1000+ языков. Есть перевод как голоса в текст, так и теста в голос. Плюс пост как зафайнтюнить модель, чтобы получать меньше ошибок.

🤖 ЧАТЫ 🤖

Опенсорсный проект Hugging Face попал в 100 самых влиятельных компаний по версии журнала TIME.

Deepmind: разработали модель BBF (Bigger, Better, Faster), который за 2 часа научился играть в игры Atari не хуже тестеров. Проекту нужно в 500 раз меньше данных для тренировки и его можно запустить на одном A100.

Chat2Code: модель для генерации кодовой базы, теперь в виде апы для MacOS.

DB-GPT: фреймворк для приватного общения с языковыми моделями, чтобы избежать утечек данных.

Ускоряем генерацию в SD с 4,5 минут —> до 14 сек

Я её уже упоминал на канале распределённую сеть Stable Horde, с помощью которой можно ускорить генерацию в Stable Diffusion в разы. Время показать её в действии. Особенно это зайдёт тем, у кого старое/слабое железо.

Что такое распределёнка — это сеть компьютеров по всему миру, которые могут делиться своими мощностями, чтобы ускорить генерацию контента. Когда вы нажимаете Generate ваш запрос по кусочкам разлетается на множество машин. Каждая из них будет обрабатывать свою часть картинки, а к вам придёт уже готовое изображение целиком.

Через Stable Horde можно генерить не только картинки, но и текст, голос, а также я думаю скоро сюда добавятся видео и музыка.

У проекта открытый исходный код, все репозитории можно посмотреть. В статистике на сайте видно, что он пользуется популярностью:

* Сгенерировано 65 млн изображений и 10 млн текстов
* Средняя скорость генераций 54 Мегапикселя/сек, а текста 674 токена/сек
* Обработано 843 Терапикселя

Сервис бесплатный, но генерация в порядке очереди. Чтобы ускорить процесс, просто регаетесь, берёте API ключ, вставляете его в автоматике во вкладке с настройками Stable Horde и вперёд.

Для генерации изображений через Stable Horde есть разные веб интерфейсы (остальные на сайте) и приложения как под Android, так и iOS (раз и два). Для генерации текста есть только веб-клиенты. Мне больше всего понравился Agnaistic как по количеству функций так и по интерфейсу.

Помимо этого для Stable Horde есть много инструментов. Боты:
* Telegram (раз и два)
* Discord
* Reddit
* итд.

Плагины ускоряющие генерации в:
* Photoshop (раз и два)
* Unreal
* Blender
* Automatic1111
* итд

Актуальные ссылки на всё смотрите на сайте Stable Horde.

1) И вот как раз про расширение для A1111 мы и поговорим. Для начала, поставим его. Это можно сделать зайдя в Extensions —> Available —> нажав Load from —> в поле поиска вбив Horde. Жмём Install напротив опции Stable Horde Client.

Если у вас хорошая видюха с 4+ Гб RAM вы можете поставить и Stable Horde Worker, чтобы помогать генерить другим людям. За это вам начисляются баллы в KUDOS. Так вы поддержите сообщество и получите приоритет в очереди на генерации.

2) Когда поставили, идите в Settings и перезагрузите интерфейс нажав Reload UI. У вас появятся две новые вкладки Stable Horde Interrogation и Stable Horde Settings. Первая нужна, чтобы получать из картинок по ссылкам в интернете промт, а вторая для настроек и конкретно указания API ключа.

3) Сам API ключ нужен, чтобы иметь приоритет при генерациях. Получить его можно зарегистрировавшись на сайте проекта. Причем регистрация заключается просто в указании Display Name, после чего отобразится API ключ, копируем его. Учтите, что сайт не хранит ваш API ключ и его лучше сохранить где-то отдельно, или залогиниться сначала аккаунтами Google, Discord, Github. Это важно для тех, кто хочет, чтобы KUDOS, начисленные за раздачу мощностей у них не пропадали.

4) Скопировав API ключ, идём в Stable Horde Settings и вставляем его в поле API key. Далее нажимаем Apply Settings.... и по сути всё, можно генерить.

Для этого идём в раздел txt2img и в Scripts выбираем Run on Stable Horde, а также целевую модель и эффекты для постобработки. На видео я сгенерил сначала локально на своей видюхе на ноуте GTX 1050 с 2 Гб VRAM без Stable Horde и на это ушло 4 м 33 сек, а потом через распределёнку.... и результат уже стал 14 сек. Разница почти в 20 раз!

Да оно будет прыгать от количества воркеров в сети, выбранной модели, настроек генерации, но это в любом случае буст и меньше необходимости покупать новое дорогостоящее железо. Чем больше будет воркеров, тем быстрее будут генерации. А с учетом того, что Microsoft, Nvidia, и AMD начали делать движения в сторону оптимизации для генераций (ONNX модели, DirectML, драйвера), а отец Stable Diffusion, Эмад Мостак, сказал на недавнем интервью, что вложил свои кровные в языковую модель, заточенную под кластеры, думаю эта тема будет развиваться.

YouTube обзор
Сайт Stable Horde
Расширение для A1111 (Client)
Расширение для A1111 (Worker)

Про метавселенную

На днях SDF Studio, фреймворк для 3D реконструкции локаций и объектов, который сделан на базе NeRFsudio интегрировали Neuralangelo — модель для конвертации масштабных двухмерных видео в трёхмерные NeRF сцены. SDF имеет унифицированную модульную структуру, благодаря чему можно внутри интерфейса переносить 3D реконструкцию между разными методами. Проект в опенсорсе, а добавление новых оптимизированных методов обработки визуальных данных позволит рендерить NeRF всё большему количеству людей. На видео Grid-guided NeRF.

Выступая на Positive Hack Days, я рассказывал какой будет настоящая метавселенная: фотореалистичная копия реальности, визуальный стиль которой можно переключать по щелчку, или наслаивать интерактивные элементы. И это будет пространство не для нас, а наших цифровых двойников, которым мы сможем передать через датасеты свои характеристики. Они будут выполнять наши поручения и фильтровать через себя весь контент/новости/спам и прочее, а нам рекомендовать, что посмотреть/послушать/купить и так далее. Потому что мы уже не успеваем следить за информацией вокруг, а они смогут быть везде сразу и всё успевать. С помощью цифровых двойников мы сможем сфокусироваться на важном для нас.

Например, после того как ты весь день занимался семьёй, творческими проектами, или пришёл домой с работы твой цифровой двойник предложит тебе посмотреть на голографическом экране или в VR шлеме концерт или фильм на котором он сегодня был. Можно и для терапии будет поговорить с ним как с зеркалом, где в отражении версия тебя, обладающая знаниями со всего мира.

И если взглянуть на тенденцию с конвертацией фоток/видео в 3D, обработкой городских локаций плюс субъектов в NeRF (включая динамические нерфы), ранние эксперименты с Free View Video (FVV), и распознаванием моушена на видео для лёгкой замены персонажей — то можно предположить, что дальше интерактив будет не с плоским контентом, а с его оцифрованными трёхмерными объектами. Даже Midjourney двигается в сторону "60 FPS fully volumetric 3D". (Ник постоянно...

... тусит в дискорде MJ на комьюнити созвонах, подгоняет инсайды, выдумывать эту инфу причин у него особо нет). Так что количество стилизаций "Во все тяжкие", "Гарри Поттера" и прочих будет увеличиваться, а визуальное качество их будет становиться лучше. Как 3D-рендер, с персонализацией вплоть до самостоятельного выбора позиции камеры, персонажа и диалога. Где лицами можно жонглировать через дипфейки, а голос пришить через TTS модели. Или подойти к этому через что-то вроде MetaHuman Animator.

И это автоматом не означает, что метаверс будет принадлежать Google/Apple/Nvidia/ и прочим ибо у них навалом данных.

1) Потому что, помимо данных у них и навалом обвязок регуляторами. Например, Google то и дело штрафуют на сотни миллионов долларов за нарушения в сборе и хранении информации о пользователях. Причём в некоторых юрисдикциях им даже не дают запустить фичи, потому что они не могут соблюсти требования. Если они не могут сохранно держать ваши персональные и финансовые данные часто сливая или продавая их налево, есть ли смысл доверять им своего цифрового двойника? Что они через него смогут узнать о вас/ каким левым людям дадут к нему доступ/ на каких документах поставят подпись или впишут дипфеком там где вас не было?

2) Облака не вывозят нагрузки. Даже ChatGPT со всем финансированием и ресурсами от Microsoft постоянно тупит и тормозит. А мы говорим про визуальные данные, которые тяжелее и хранить и обрабатывать. Тут ведь ещё не просто один раз сосканить комнату и сделать нерф на её основе как в Immersive View, нужно актуализировать данные (особенно для массовых мест). А если ещё наслоить сюда постоянно меняющиеся интерактивные элементы, смену визуальных стилей, AI-агентов которые будут в мете постоянно генерить контент вроде арта / видео/ музыки / 3D игр про AI-агента создающего 3D игру.... Здесь стоит вспомнить историю Boomy, через которых за 2 года сгенерировалось 14,5 миллионов треков, или 14% от всей записанной музыки в мире (глянул, уже ~16 млн треков, то есть +1,5 млн треков за 2 месяца). А таких проектов в ближайшие годы будут тысячи. Можно парировать, что бигтехи могут быстро нарастить компьют, но 52% полупроводниковых микросхем производит TSMC на Тайване и 18% Samsung в Южной Корее. Строить свои заводы в США и обучать людей это дорого и долго, да и экономические условия во времена краха банков и массовых увольнений в корпорациях не соблаговолят этому. Так, что велика вероятность, что они не смогут наращивать компьют нужными темпами.

Из-за давления регуляторов и узкого места в мощностях бигтехам придётся разворачивать проекты постепенно на ограниченной территории и аудитории... вот только это идёт в разрез со скоростями опенсорса. Прошло уже больше 9 месяцев как были анонсированы Imagen от гугла и Make-a-Video от запрещёнки.... где бы эти проекты сейчас ни были всем уже без разницы, потому что есть Zeroscope 2 XL, GEN-2, Potat1, модели с ControlNet на борту, и тд. Этот рынок никого не ждёт — если дверь закрыта, народ ломанётся в те что открыты.

А дальше просто будут нейронки, которым скармливаешь скриншот приложения, описываешь как оно работает, а нейронка тебе генерит его код, и ты можешь также чатом его персонализировать под себя....

Большие языковые и генеративные модели уже помещаются локально на одну видюху, телефон, запускаются прямо в браузере через WebGPU, и их можно даже ускорить через распределёнку вроде Stable Horde. Так что ваши приватные данные, цифровой двойник, сгенерированный контент, и мета-проекты могут не покидать ваше устройство.

Дело за визуализацией меты исходя из такого контекста, а также экономической моделью. И движ в эту сторону есть...

Интернет по своей природе децентрализован и построен на свободном программном обеспечении. Вероятно таким же будет и метаверс.

В 2008 году, когда я только поступил в инст, мой первый доклад был о возможности выражать мысли из воображения в цифровое пространство. На тот момент через фМРТ можно было выразить только ч/б изображение 8х8 пикселей. Ближайшим к потребительскому уровню Нейро-Компьютерным Интерфейсом (НКИ) тогда был Emotiv, который успешно дожил и до наших дней. Их устройство работает как портативная ЭЭГ, и позволяет мысленно управлять подключенными предметами в физическом и цифровом пространствах, помогает в принятии решений на основе мозговой активности, и есть примеры выражения музыки.

С тех пор мы уже можем значительно больше. Из последних проектов, что попадались на глаза:

* Через фМРТ можно приблизительно считать лицо человека, о котором думаем. Или прочесть мысли после прослушанного подкаста.
* С помощью НКИ, можно помочь озвучивучить внутренний диалог или выйти в интернет и общаться со всем миром.
* MindEye: на основе снимков активности мозга с помощью Stable Diffusion можно получить кадры из воображения в высокой точностью. Проект может замапить данные с фМРТ мультимодально, причём даже есть код.
* MinD-Vis: тоже работает на основе диффузии, и тоже есть код. Плюс другое исследование тоже на основе SD и высоким качеством изображений.
* CEBRA: декодируем сигналы мозга мыши в реальном времени, чтобы воссоздать ч/б фильм 60-х годов, который она видела и какие эмоции испытала.
* MinD-Video (расширение MinD-Vis): с помощью фМРТ и диффузии генерим видео из мыслей. Причём семплы на видео в посте ограничены по длине, fps, и разрешению, так как сгенерированы на RTX 3090. Но через MinD-Video можно генерить и длинные видео со скорость 30 fps большего разрешения.

Так что скоро сможем из воображения напрямую кино, музыку и тд. выражать на компьютер или прямо в сеть. А мозг будет восприниматься как ещё один носитель — ментальный.

И уже не будет такого, что кто-то решает какой фильм будет сниматься а какой нет, какой трек пойдёт в массы а какой нет. Пришла в голову идея — сразу её воплотил и поделился с миром.

DynIBaR — нейронный рендеринг динамических сцен. Модель может взять обычное 2D видео и дать ему 3D объём.

Что нам это даёт:
* возможность менять положение камеры на уже снятом видео,
* смешать точку фокуса в кадре
* делать анимацию движения камеры
* стабилизировать картинку
* ваять стерео 3D
* и, возможно, играть с освещением

Сайт
Код

PS: хотел сделать пост об этом 2 недели назад, но тогда кода не было. Хорошо, что релизнули.

Zeroscope 2 XL — модель для генерации видео по тексту на основе Modelscope, но без водяного знака.

Обучена со смещенным шумом на 9 923 клипах и 29 769 помеченных кадрах с фремрейтом 24 к/с и разрешением 1024x576.

Работает на связке двух моделей: базовая генерит 576x320 (zeroscope_v2_576w), а другая апскейлит до 1024x576 (zeroscope_v2_XL). Только так можно получить хорошую картинку как на видео выше, ибо просто базовый генератор выдаёт среднее качество. Поэтому после того как в базе сгенерите основу в 576x320 отправьте его в апскейлер, чтобы получить 1024x576. Как вариант, базовое видео ещё можно сгенерить из картинки здесь.

Это можно сделать и в колабе: когда всё прогрузится перейдите по ссылке на webui и в расширении text2video переключитесь на vid2vid. Гайд от автора.

Если не хотите копаться ни с чем, можете воспользоваться Replicate — тут просто пишешь промт, нажимаешь внизу Submit и получаешь видео. Вот гайд.

Гитхаб автора со всеми коллабами