#мысливслух

https://www.youtube.com/watch?v=GVT3WUa-48Y

Бум разработки видео-игр в начале десятых совпал с появлением доступных движков, вроде Unity или Unreal, которые на несколько порядков упростили процесс разработки небольшим командам. Появилась возможность создать игру мечты не тратя ресурсы на создание собственной технологии. Стало возможно создавать игры вообще не умея программировать! Это было что-то невероятное!

Что если с набором инструментов Stable Diffusion будет аналогичная ситуация? Небольшие команды энтузиастов или одиночки, у которых раньше не было шансов создавать фильмы в формате существующей индустрии, теперь смогут рисовать небольшие шедевры. Айфон, хромакей, компьютер с видеокартой и целеустремлённость поменяют правила игры. Зачем наниматься в огромную студию с конкурсом 100 человек на место, когда ты можешь создавать фильмы мечты буквально на подручных инструментах и с бюджетом пива с орешками "классической" студии? Узнаем уже совсем скоро.

Подробное видео с описанием процесса и инструментов.

PS: видео вышло 5 месяцев назад, пост написан месяц назад. Ничего даже близко похожего так и не появилось. Сообществу интереснее клепать дипфейки, одноразовый кайф в дефоруме и куаркоды. Вот вы сколько раз сканировали куаркоды до недавнего бума?! Пять?
_
Stable Diffusion: инструменты, расширения, модели, токены

#арт

Оплатил Telegram Premium, теперь все обзоры и заметки будут в два-три раза длиннее. Хорошо это, или плохо, узнаем уже совсем скоро.

(masterpiece, best quality, anime, perfect anime illustration:1.3), (dark magic:1.2), (grim:1.4) dense forest, bushes with thorns, (intricate details), (hyperdetailed), 8k hdr,, high detailed, lot of details, high quality, refined, soft cinematic light, dramatic atmosphere, atmospheric perspective
Negative prompt: (worst quality:1.3), (low quality:1.3), blur, blurry, text, error, signature, watermark, logo,
Steps: 24, Sampler: DPM++ 2M Karras, CFG scale: 6, Seed: 4171271420, Size: 1024x576, Model hash: 099e07547a, Model: ANIME—darkSushiMixMix_brighterPruned, Clip skip: 2, Version: v1.3.2

___
Stable Diffusion: инструменты, расширения, модели, токены

#расширение

!After Detailer
https://github.com/Bing-su/adetailer

Последнее время часто пишу об инструментах и техниках inpaint (раз, два, три, четыре) и не могу не упомянуть After Detailer — способ ленивого инпейнта, который улучшит лица, руки и даже персонажа целиком. В пару кликов вы отмечаете что хотите улучшить и при обычном рисовании получаете улучшенные варианты изображений. Для сравнения "до и после" надо включить настройку "Save images before ADetailer".

After Detailer — одно из самых популярных расширений для WebUI. Если вы рисуете людей и не дорабатываете результаты в After Detailer (или в inpaint) вы очень много теряете.

Как это работает?
text2image → hires.fix → After Detailer 1 → After Detailer 2 → улучшенное изображение.

Особенности работы расширения
• Если вы зачем-то пользовались Restore faces и портили им лица, то с After Detailer можете забыть про Restore faces, функция будет не нужна.
• Сбалансированные настройки из коробки, можно инпейнтить изо всех сил буквально в пять кликов мышкой вообще не умея инпейнтить!
• Расширение может не дать заметного эффекта если модель плохо рисует детали лица. Например, на моих любимых aZovyaRPG оно почти бесполезно.
• Чем меньше пространства в кадре занимает персонаж, тем лучше результат при доработке лица. Идеально для ростовых портретов, почти бесполезно для "клоузапов".
• С лицами работает многократно лучше, чем с руками или телом.
• На выбор 5 моделей для улучшения лиц, 2 для тел, 1 для рук
• Замедляет рисование каждого изображения в 1,5-2 раза

Продолжение: рекомендованные настройки для !After Detailer
___
Stable Diffusion: инструменты, расширения, модели, токены

#расширение

Начало: обзор расширения !After Detailer

Базовые настройки показывают хорошие результаты и расширением можно пользоваться как есть. Ниже описаны настройки, изменение которых повысит качество доработки деталей.

Промпт
Поле не заполнено — используется промпт и негатив из генерации. Добавление токенов влияет на результат инпейнта.
Например, можно изменить цвет глаз, черты лица, макияж или эмоцию. Если вы использовали лору на черты лица, то стоит добавить её в промпт расширения.

Вкладки 1st и 2nd
Вкладка становится активной если в поле "ADetailer model" выбрана модель. None деактивирует вкладку.
Рекомендую использовать либо одну, либо две разные модели. Например: лицо + руки или лицо + тело. Две одинаковые модели заметного результата не дадут.

Модели
В документации написано, что модели mediapipe лучше подходят для реалистичных лиц, остальные для аниме и 2,5D. На мой вкус, в среднем, face_yolov8s универсальна и работает чуть лучше остальных. Стоит сравнивать модели через матрицу XYZ, возможно в вашем случае надо выбрать другую модель улучшения лиц.

Detection
Отвечает за сегментацию изображения. Снижение параметра "Detection model confidence threshold" улучшает распознание объектов для инпейнта. Рекомендую значения в диапазоне от 0,2 до 0,25 для большинства ситуаций и 0,1 когда возникают проблемы (лицо слишком маленькое, видна только половина лица, etc).

Mask Preprocessing
Очень странные настройки, лучше оставить без изменений.

Inpainting (настройки аналогичны img2img)
Стандартного размера тайла 512х512 достаточно, при желании можно увеличить до 768х768 или 1024х1024.
Denoising в диапазоне от 0,3 до 0,4, остальное без изменений.

ControlNet
Добавление модели control_net_inpaint незначительно улучшает результат. Либо я что-то не так тестировал.
На слабых машинах эту настройку можно не активировать.

Обложка нарисована без After Detailer и inpaint, при таком размере лица диффузия ничего не портит и сразу выдаёт хорошие результаты.
___
Stable Diffusion: инструменты, расширения, модели, токены

#расширение #Automatic1111

Kitchen Theme
https://github.com/canisminor1990/sd-webui-kitchen-theme

Затронув тему нескучных обоев стоит упомянуть Kitchen Theme, более популярное, чем Catppuccin, расширение. Помимо улучшения цветовой схемы WebUI оно значительно изменяет интерфейс.

Особенности расширения
• Поддерживает светлую и тёмную темы Gradio (переключаются одной кнопкой в интерфейсе).
• Обе темы выглядят не хуже, чем стандартные темы Gradio.
• Переносит редко используемые элементы (выбор модели, лоры, вае, погружения в клип, ect) на боковые панели, которые скрываются и вызываются одним кликом. Это освобождает больше место и по вертикали, и по горизонтали. Удобно для мониторов с небольшим разрешением.
• Функция форматирования промпта: в один клик можно удалить лишние пробелы и запятые (запятая — токен, который влияет на результат генерации).
• Добавляет инструмент создания и редактирования промпта токенами, наподобие All Prompt In One, только неудобный. Или сломанный в момент написания обзора? У меня не получилось превратить свой промпт в тэги, а добавление новых тэгов стирало весь промпт.
• Стандартный набор тэгов можно заменить на ваш словарь. Файлы лежат в stable-diffusion-webui\extensions\sd-web-ui-kitchen-theme\src\data
• Проверял работу только на WebUI от Automatic. Не знаю, совместимо ли оно с Vladmandic и другими форками.

____
Stable Diffusion: инструменты, расширения, модели, токены

#мысливслух

Продолжаем рисовать еду. Попробуем чуть лучше подготовиться, взять современные модели и намазать фотографичных и фотореальных фильтров. Тест не претендует на серьёзное исследование из-за скромного размера выборки.

Даже у лучших в своём классе моделей серьёзные беды с рисованием популярной еды и посуды. Выглядит правдоподобно, если не всматриваться. Рисунки выглядят хорошо только с расстояния в несколько метров от монитора. Вблизи всё очень плохо.

В комментариях к предыдущему посту задан важный вопрос, попробую ответить на него развёрнуто.
«По возможности старайтесь избегать рисования всего, о чём модели диффузии не имеют представления.»
Где этот перечень о чём они не знают/знают?

Список формируется индивидуально, методом проб и ошибок. Если сильно обобщать, но здесь и сейчас актуальные модели хорошо (со множеством «но») рисуют только людей, на это есть запрос у сообщества. Например, фотореалистичные модели, вроде ReV Animated, дорисовывают на телах рельеф культуриста, который зачастую анатомически некорректен. О неточностях в рисовании глаз, волос, бровей, бород, пальцев, пальцев и прочих деталей вы сами всё знаете. Даже если модель в состоянии нарисовать правдоподобную пятерню, нарисовать как рука держит телефон, книгу, чашку или папиросу — колдунство высочайшего уровня. Не пытайтесь повторить это дома.

Большинство моделей удачно рисуют природу. Но чем ближе модель к фотографичности или фотореализму, тем нестабильнее результат. Все модели недурно рисуют интерьеры, но в детали лучше не всматриваться. Аналогично с автомобилями, мотоциклами, катерами и другой популярной техникой. Птицы и животные правдоподобны, но недостатков ещё больше.
В остальном — одни беды. Рисует и если не всматриваться, то сходство будет.

В комментариях к записи лежит сетка в оригинальном размере (4410x9456).
___
Stable Diffusion: инструменты, расширения, модели, токены