Пока самая стилистически выверенная работа, сделанная в Deforum, из тех что я видел.

Автор

DeepFloyd IF вышел в тираж.

Пробуйте и делитесь генерациями в комментах.

Веб-версия

Дайджест за выходные:

📹 ВИДЕО + АРТ 🎨

Graphit: бесплатный всё-в-одном инструмент для работы с изображениями: text2img, img2img, inpating, depth, edge, sketch, и не только.

Edit Everything: выделение и замена текстом объектов в кадре на основе Segment Anything + SD + CLIP.

SEEM: сегментация объектов в кадре мышкой, текстом или реф картинкой. Анонс был 2 недели назад, сейчас код вышел в открытый доступ (пока только на Linux).

MosaicML: воссоздали тренировку Stable Diffusion 2 за $50k и 7,5 дней, что 8 раз дешевле, чем это стоило в оригинале.

🎸 ЗВУК 🎸

Elevenlabs: добавили поддержку генерации голоса по тексту на разных языках (русского пока нет) и скоро добавят конвертацию из одной локализации в другую.

Tango: генерация звука по тексту с высоким показателем качества, хотя натренирована на маленьком датасете. Можно генерить и тренить локально.

🤖 ЧАТЫ 🤖

StableVicuna: Stability AI выпустили анонсированную ранее языковую модель, которая является зафайнтюненой версией Vicuna 13B и натренирована на человеческом фидбэке (RLHF). Также показали превью своего интерфейса для общения с чат-ботами.

MLC LLM: обёртка для запуска любых языковых моделей на разных устройствах, в том числе и на телефонах.

FastChat-T5: модель превосходит Dolly-V2, хотя у неё в 4 раза меньше параметров. Плюс её можно использовать в коммерческом ключе.

Otter: мульти-модальный чат, которому можно скармливать картинки, видео, 3D и получать ответы на свои вопросы. Натренировали на четырёх GTX 3090.

VLog: транскрипция видео в текст для суммаризации и получения ответов в режиме чата. Нужен openai API

LLaMA Adapter V2: фреймворк для расширения возможностей лама-моделей и обучения пониманию изображений.

Automatic1111 обновился и теперь в нём появилась поддержка фич, которые оптимизируют работу на картах с малым объёмом памяти. Говорят прирост производительности 30-60% и чем выше разрешение, тем выше прирост. Что за фичи:

* Torch 2.0 — обновлённая версия PyTorch значительно менее требовательна к памяти.

* ToMe (Token Merging) — объединяем некоторые лишние токены в один, чтобы быстрее их обрабатывать.

* Negative Guidance minimum sigma — уменьшаем CFG до 1 на поздних этапах генерации, чтобы увеличить скорость, не теряя в качестве.

* SDP — перекрестное внимание, аналог xFormers для PyTorch 2, который тоже был для щадящего режима к низкому количеству видеопамяти.

Нашел видос с разъяснениями что включить и где

Не А1111 единой генерируемы..

Рекомендую присмотреться к аналогу А1111 - automatic от vladmandic.

Из обнаруженных на данный момент бонусов (уверен, их будет больше):
- Оптимизировано под Torch 2.0 (говорят, даже XFormers теперь не нужны)
- Контролировать Xformers через настройки
- Актуальная поддержка и обновления оболочки
- Возможность контролировать настройки CUDA

Куча мелких приятностей: вынесенный CLIP Skip, предустановленные основные расширения, возможность выбирать предустановленный пак интерфейсов, использовать пути для моделей от А1111 и т.д.

Помимо этого, тесты показали прирост скорости генерации как минимум на 5%.
Из необъективного - генерации в этой оболочке показались более качественными при прочих равных условиях :)

Гайд по установке от камраде Olivio тут https://youtu.be/mtMZGdCjUwQ

Надеюсь, проект будет развиваться - в бешеном вихре развития SD и доп.инструментария - любой застой в апгрейде основного ПО очень чувствуется.

для создания батника с автообновлением + автозапуском в браузере:

Создать файл webui-user.bat и вписать в него:

@echo off
git pull
webui --autolaunch

Чуваки сделали клип на трек Seeb — Submarine.

В пайплане чего только нет: SD, MJ, ChatGPT, Blender...

Не получалось сгенерить одного и того же персонажа — пригнали на площадку актёра из агентства. Уперлись в проблему консистентности стиля — начали тренировать свою модель на тысячах кадров с целевым стилем. Видюха взмолилась и завыла — купили RTX 4090...когда есть бюджет плюс в тз не сказано генерить тянок, так можно.

Как по мне behind the scenes интереснее самого клипа, но быть может вам зайдёт.

Клип
Реддит

Дайджест новостей, пока ты спал:

📹 ВИДЕО + АРТ 🎨

Perfusion: генерация изображений по тексту с точным следованием промту.

NFL: NeRF рендеринг совместили с LiDAR съёмкой для создания реалистичных сканов из новых точек обзора.

GLaD: синтезирование датасетов в латентном (векторном) пространстве, которые визуально чётче и не так шумны, как пиксельные.

TMR: генерация 3D движения (motion) по текстовому запросу с использованием контрастного обучения.

🤖 ЧАТЫ 🤖

LLaVa Lightning: обучаем свою легковесную мульти-модальную версию GPT-4 за 3 часа и $40.

VPGTrans: переносим уже существующие чат-боты с изображениями между разными моделями, занижая затраты на обучение новых моделей.