#заметки

В комментариях попросили рассказать как включить дополнительные настройки Hires. fix, чтобы у вас была возможность увеличивать картинку на другом семплере и задать промпт и негатив, отличные от исходной генерации.

Дополнительные Hires fix настройки включаются в Settings - User Interface.

Hires fix: show hires sampler selection
Добавляет выбор семплера для хайреза. По умолчанию используется тот же семплер, что и при рисовании. Настройка пригодится если вы хотите доработать детали на другом семплере.
— (любой семплер) + Heun = повышение детализации изображения;
— DPM++ 2M/2Sa + DPM++ 2M Karras = улучшение картинки для большего фотореализма.

Hires fix: show hires prompt and negative prompt
Добавляет возможность задать промпт и негатив для хайреза, которые будут отличаться от вашего основного промпта. Возможные сценарии:
— изменение силы лоры, если вам не нравится результат после хайреза;
— добавление токенов детализации или повышение их веса;
— цветокоррекция (чуть-чуть) при достаточной силе токенов цвета.

Дополнено: версия Automatic WebUI должна быть 1.3.0 или выше.

Серия постов
1. Включаем дополнительные настройки Hires. fix
2. Исправляем анатомию с помощью Hires. fix
3. Пример повышения детализации изображения на семплере Heun при Hires. fix

____
Stable Diffusion: инструменты, расширения, модели, токены

#заметки #ComfyUI

Ранее не сталкивался с информацией о том, как движок Automatic1111 обрабатывает веса токенов, но узнал про это из справки ComfyUI.

╮( ˘ ､ ˘ )╭

ComfyUI использует веса токенов строго в соответствии с промптом:

(masterpiece:1.2) (best:1.3) (quality:1.4) girl

Automatic1111 постарается нормализовать веса исходя из общего количества токенов:

(masterpiece:0.98) (best:1.06) (quality:1.14) (girl:0.81)

Эта информация может пригодится при работе с длинными промптами в 2-4 чанка (150-300 токенов). Вместо тщетных попыток повышать веса ключевых токенов до невероятных 1.6-1.7 стоит поднимать веса остальных токенов, чтобы при нормализации весов всего промпта веса ключевых токенов теряли меньше силы.

Дополнено: длинное обсуждение механизма работы с весами токенов.
____
Stable Diffusion: инструменты, расширения, модели, токены

Не ожидал, что мой скромный канал про капибар за два месяца наберёт тысячу читателей.

Огромное вам спасибо!

По сложившейся в телеграм-сообществе традиции делюсь каналами о Stable Diffsuion, которые регулярно читаю:

@win10tweaker
Лучшие в рунете авторские материалы о работе со Stable Diffusion. Невероятное сообщество, особенно клуб платных подписчиков.
Вы многое теряете, если ещё не подписаны на ютуб и дискорд.

www.youtube.com/@StableDiff
Отличные видео-уроки. Глубоко переработанная компиляция накопленного в сообществе опыта. У канала есть расширитель в виде сообщества в телеграме.

@mrreplicart
Авторский канал о технических аспектах Stable Diffusion. Пишет, увы, редко.

@neuro_yiu
Ещё один авторский канал, но уже больше про создание красоты и стилей. И тоже пишет редко.

@GreenNeuralRobots
Новостной канал. Агрегирует всевозможные инфоповоды из сети, связанные с генеративным AI. По демо и прототипам можно представить где мы будем через год-полтора.

И не могу не поделиться двумя каналами о русском дизайне. К нейросетям они отношения не имеют. Но так ли это важно, если каналы хорошие?

@neohota
Дайджест русского дизайна, в самом широком значении термина "дизайн": диджитал, веб, предметный, интерьеры, архитектура, одежда. Список бесконечен.

@sdelanovross
Под классическим лозунгом "support your local clothing brand" пишут о русских брендах одежды.

#заметки

Как избавиться от постороннего текста при генерации изображений?

Длительное время использовал в негативном промпте конструкцию text, signature, watermark, чтобы при генерации избавиться от надписей и подписей. После тестов выяснилось, что при обычных весах конструкция лишь уменьшает простор фантазии модели. Надписи остаются.

Повышение веса до 1.3-1.4 сокращает количество текста на изображениях (в среднем), но начинает оказывать влияние на детали. Иногда в лучшую сторону, иногда в худшую.

Проще не пытаться переубедить диффузию, а вручную почистить подписи. Это займёт пару минут, в большинстве случаев хватает одного прохода. Иногда диффузия перерисовывает крупную подпись в небольшую, и тогда потребуется два-три прохода, чтобы устранить недоразумение.

Процесс и настройки удаления постороннего текста такие же, как и при удалении любой другой мелкой детали.

1. Переносите изображение в img2img - inpaint, закрашиваете текст маской.
2. Задаёте настройки инпейнта так, чтобы полностью перерисовать часть изображения под маской. Промпт и негатив остаются пустыми.
• Mask mode: Inpaint masked
• Masked content: original
• Inpaint area: Only masked
• Only masked padding, pixels: 64
• Sampling steps: 20
• Denoising strength: 1
• Размер: 512х512 (или меньше, по желанию)


____
Stable Diffusion: инструменты, расширения, модели, токены

#токен

371 стиль художников и режиссёров. Протестировано на Midjourney, но должно работать и в Stable Diffusion.
https://docs.google.com/spreadsheets/d/16KKh1FQmd-r98K9aWPBux5m9lc9PCV_T1AWgU54qXm8/edit#gid=0

Зачем я снова и снова публикую подборки токенов стилей? Причин две:
1. Не у всех есть терпение и желание рисовать гриды на тысячи рисунков. А пополнять ассортимент стилей надо. Подборки — самый простой способ получить желаемое.
2. Результаты каждого теста уникальны. В одном тесте токен не проявил себя, в другом выдал лучший результат и обратил на себя внимание.


Все посты с подборками стилей.

_____
Stable Diffusion: инструменты, расширения, модели, токены

#дайджест #токен

Все подборки токенов стилей художников, фотографов или инструментов рисования в одном посте (будет постоянно обновляться).

• Подборка из 1572 художников
• 2384 стиля Midjourney, которые поймёт Stable Diffusion
• 706 художников, 33 стиля, 19 направлений
• 364 плёнки для имитации стиля аналоговой фотографии
• 371 стиль фотографов и режиссёров
• 264 техники рисования, 1800 имён художников, 400 фотографов, 100 промптов с фильтрами для фото

Зачем я снова и снова публикую подборки токенов стилей? Причин две:
1. Не у всех есть терпение и желание рисовать гриды на тысячи рисунков. А пополнять ассортимент стилей надо. Подборки — самый простой способ получить желаемое.
2. Результаты каждого теста уникальны. В одном тесте токен не проявил себя, в другом выдал лучший результат и обратил на себя внимание.

____
У капибары лапки • подписаться

#заметки #рабочийпроцесс

Последние пару дней тестирую различные промпты и негативы для улучшения результатов на разных аниме моделях.

Самый интересный вывод: общепринятые и очень популярные (masterpiece, best quality), даже с повышением веса до 1.3, не улучшают картинку. С тем же успехом можно добавить в промпт пару запятых, это тоже как-то поменяет детали или композицию.

При этом негатив (worst quality, low quality) результаты улучшает. Можно даже повышать вес до 1.3-1.4.

magic
╮( ˘_˘ )╭

____
У капибары лапки • подписаться

Таблица, созданная в расширении Infinity Grid Generator (обзор)

#расширение

Infinity Grid Generator
https://github.com/mcmonkeyprojects/sd-infinity-grid-generator-script

Улучшенная версия матрицы XYZ, с возможностью задать более трёх осей (максимум 16!) для тестирования промптов и настроек генерации.
Позволяет создавать и использовать шаблон таблицы, чтобы не вводить вручную параметры при проведении однотипных тестов. При добавлении новых полей может дописывать данные в существующую таблицу вместо повторной генерации новой таблицы.

Скриншот таблицы не покажет глубины удобства (или безумия?) расширения. Чтобы понять как это работает лучше посмотреть готовую таблицу. Для просмотра откройте файл index.html в браузере.

Настройки расширения
• Select grid definition file
Выбор файла конфигурации, на основе которого создаётся таблица.
Create in UI — настройка всех параметров вручную в интерфейсе, по аналогии с XYZ-plot
• Output folder name
Имя папки с файлами и таблицей.
• Overwrite existing images (for updating grids)
Позволяет перезаписать данные в уже существующей таблице.
• Do a dry run to validate your grid file
Запуск без генерации изображений, по умолчанию выключен. Необходим для тестирования корректности конфигурационного файла или введённых в интерфейс данных.
• Use more-performant skipping
Не совсем понял что делает эта настройка, поэтому по умолчанию не включаю.
• Generate infinite-grid webviewer page
Создаёт веб-страницу для работы со сгенерированной таблицей. По умолчанию включено.
• Validate PromptReplace input
Проверяет данные если вы выбрали PromptReplace (замена части промпта).
• Publish full generation metadata for viewing on-page
Добавление всех мета-данных в таблицу

Шаблоны таблиц
Шаблоны хранятся в папке \extensions\sd-infinity-grid-generator-script\assets
Структура таблицы описывается в формате yaml, в файлах short_example.yml и megagrid.yml лежат примеры сложного оформления. Простой шаблон можно получить при генерации пустой таблицы (файл config.yml в корне папки с таблицей).
Расширение хорошо документировано, больше информации можно получить в гитхабе проекта. Я пока не пробовал создавать сложные структуры, но в комментариях смогу ответить на ваши вопросы.

Недостатки расширения
• В отличии от стандартной XYZ не поддерживает более одного изображения на ячейку. Ограничение можно обойти добавлением оси Seed со значениями -1, -1, -1, etc, но это менее удобно.
• Нет селектора для моделей, стилей и VAE. Можно лишь добавить весь список в матрицу и вручную удалить лишнее.
• В интерфейсе отстутствует возможность задать подпись оси. Это может доставить неудобство если у вас более двух осей Prompt Replace.
• Вам надоест искать нужные картинки по папкам, созданным расширением.
___
У капибары лапки • подписаться

#Automatic1111

Вышло обновление Automatic1111 Web UI, версия 1.5.0

Я рискнул сразу обновить основную версию WebUI и (вроде) пока ничего не отвалилось. ControlNet, ADetailer, Canvas Zoom, Negative Prompt Weight и стандартные скрипты работают.

Дополнено: перестал работать DAAM.
Дополнено 2: обновление может выпасть в ошибку если у вас есть установленные нестандартным способом расширения.

Но правильнее выждать перед обновлением день-два, чтобы быть уверенным что ничего не поломалось.

Важные и заметные на глаз изменения
— Поддержка SDXL.
— Редактор мета-данных скачанных LoRA: возможность сохранить в виде пресета стандартные настройки (токен активации, веса, тэги) и получить информацию о настройках тренировки в человеко-читаемом формате.
— Горячие клавиши для перемещения токена внутри промпта (alt + стрелки влево/вправо).
— Поддержка LyCORIS встроена в стандартное расширение LoRA
— img2img при пакетной обработке получил возможность читать метаданные из изображений и работать с подкаталогами.
— Настройка для изменения цветов фона гридов (xyz-plot).
— Автоматическое переключение на 32-х битное пространство если VAE выдаёт ошибку и просит прописать ключ --no-half-vae.

Всякие мелочи
— В каталоге расширений отображается количество звёзд репозитория на гитхабе. Показатель совершенно бесполезный, но он есть.
— Улучшено отображение информации о затраченном на рисование времени и использовании VRAM.
— Информация о хэше использованных текстовых инверсий добавлена в метаданные.
— Возможность добавить пользователя gradio (?) в название файла и метаданные.
— Запуск ускорен на пару секунд, т.к. отключена попытка установить уже установленные пакеты.
— Чекбокс выбора всех установленных расширений на вкладке расширений.
— 9 пунктов, связанных с разработкой расширений и работой с API.
— 17 пунктов багфиксов, всякие минорные мелочи.

Полный список изменений можно посмотреть в репозитории проекта.

___
У капибары лапки • подписаться

#заметки #Automatic1111

Последние несколько дней по работе пишу и редактирую огромное количество самых разных промптов.

Возможность передвигать токены комбинацией клавиш Alt + стрелки (влево/вправо), добавленная в версии 1.5.0 WebUI, оказалась лучшей новинкой из всего списка улучшений.
На втором месте пресеты для лоры.

У капибары лапки • подписаться

#SDXL #мысливслух

В новостях пишут, что вышла долгожданная SDXL 1.0.

Поддержка (вернее "поддержка") SDXL в Automatic1111 WebUI реализована каким-то особым человеконенавистническим способом. Не рекомендую тратить на это время и нервы.

Хотите опробовать горячую новинку (модель, рефайнер, вае) — воспользуйтесь отдельно установленным ComfyUI (инструкция по установке, воркфлоу). Результаты вас приятно удивят.

Основное, что стоит знать про SDXL сейчас:
— Базовая модель имеет фундаментальный дефект: из-за отсутствия в датасете обнажённых тел люди, даже одетые, не всегда получаются удачными. Прочих NSFW ограничений нет: зомби и кровища рисуются как и на 1.5.
— SDXL рисует в огромных, по меркам 1.5, размерах без проблем с построением композиции, без искажения тел и без дублирования объектов. Условные 1920х1080 можно рисовать сразу, без апскейла.
— Процесс написания промптов аналогичен принципам 1.5, но ваши промпты могут значительно отличаться от результатов файнтюнов 1.5.
— LoRA от 1.5 и 2.1 не совместимы с SDXL.
— SDXL уже поддерживается в kohya-ss, какие-то LoRA и тренированные модели уже есть на civitai. При желании вы можете дообучить лору или модель сами.
— Модели ControlNet 1.1 не совместимы с SDXL.
— Нет, пальцы оно всё ещё не умеет рисовать.

Надо ждать дообученных и перебалансированных моделей, как было с 1.5.

У капибары лапки • подписаться

#заметки #SDXL #ComfyUI

Воркфлоу для рисования на SDXL от автора ComfyUI

1. Скачайте изображение.
2. Перетащите файл в окно ComfyUI.
3. Не забудьте поменять настройки KSampler Base и KSampler Refiner (sampler, cfg)
— dpmpp = dpm++
— задайте scheduler = karras, чтобы рисовать на семплерах karras или normal для прочих

Воркфлоу хорошо задокументирован и поможет лучше понять что происходит на каждом этапе.
Результат стоит того, чтобы не воевать с автоматиком (рисовать на модели, затем вручную через img2img улучшать результат на рефейнере) а сразу всё делать на ComfyUI.

• скачать SDXL (модель, рефайнер, вае)
• инструкция по установке ComfyUI
____
У капибары лапки • подписаться

#расширение

Config Presets
https://github.com/Zyin055/Config-Presets

Расширение для сохранения настроек параметров генерации и переключения между пресетами в один клик. Будет полезно для хранения настроек генерации разных моделей, пайплайнов апскейла и инпейнта или пайплайнов более сложных процессов.

Алгоритм настройки необычайно прост:
1.В интерфейсе WebUI задаёте нужные параметры.
2. В расширении отмечаете какие из параметров необходимо сохранить.
3. Вводите имя пресета и сохраняете.

Особенности расширения
• Работает с txt2img и img2img.
• Помимо настроек генерации может сохранять параметры расширений ControlNet, ADetailer, Latent Couple, Tiled Diffusion.
• Для подключения и сохранения дополнительных настроек необходимо нажать кнопку "Add Custom Fields" и при редактировании текстового файла удалить символ # в начале строк с нужными вами параметрами.
• В теории может хранить настройки любых расширений или скриптов, если они прописывают параметры в ui-config.json. Но здесь нужны эксперименты.
Расширение не запустится и в консоли будет написано какой именно параметр привёл к сбою, если вы напишите что-то не так.
• Сохраняет содержимое матрицы XYZ.
• Хранит файлы конфигурации в \stable-diffusion-webui\extensions\Config-Presets, при необходимости их можно править вручную.

Недостатки расширения
• Не умеет переключать модели и VAE.
• Не умеет изменять уровень Clip skip.
• Не запоминает содержимое матрицы XYZ если поле заполняется из выпадающего списка (модели, стили, etc).
• Не умеет настраивать семплер для хайреза (или я не разобрался где и как это сделать).
____
У капибары лапки • подписаться

#обзор #SDXL

Сравнил как рисуют SDXL 0.9 и SDXL 1.0 на двух разных воркфлоу. (больше примеров в статье по ссылке).

Добавил инструкцию как скачать SDXL, установить ComfyUI и настроить пайплайны рисования.

Читать на DTF | Пикабу
____
У капибары лапки • подписаться