#ComfyUI #расширение

Face Detailer — инструмент для поиска на изображении определённых объектов (лица, люди) и автоматического инпейнта найденного объекта для повышения качества и детализации. Нода принадлежит к набору Impact Pack (инструкция по установке).
Почти полный аналог !After Detailer из автоматика.

Расширение превосходно задокументировано. Есть и текстовое описание всех параметров, и готовые примеры с настройками.
Параметры, на которых я генерирую изображения добавлены скриншотом в комментариях к этой записи и добавлены в мой воркфлоу.

В процессе подключения ноды нет особых сложностей, все поля подключения связей очевидны. Отмечу лишь интересные моменты:
• С помощью входов detailer_hook/detailer_pipe можно объединить несколько нод Face Detailer в каскад, для улучшения вообще всего. В After Detailer это делается через включение дополнительных вкладок.
• Модели для сегментации (нода Ultralytics Detecror Provide, связи bbox_detector и segm_detector_opt).
По умолчанию с расширением скачивается одна или две модели. Основные модели, к которым вы привыкли по After Detailer можно скачать с huggingface. Модели хранятся в папке ComfyUI\models\ultralytics.
• seed — отвечает за результат. Можно зафиксировать сид основного изображения и поставить случайный сид в Face Detailer, чтобы получать варианты одного изображения с разными лицами.
• sampler — попробуйте dpmpp_sde_gpu/normal. Тяжёлый и мощный семплер для дополнительной детализации.

____
У капибары лапки • подписаться

#обзор

Методу апскейла с повышением резкости и качества для "фото" уже несколько месяцев (два для фотона), но удалось его опробовать только сейчас.
Дело не обошлось без помощи товарищей: FiL рассказал про вариативность негативов, Dingo убедил что это таки надо сделать и помог протестировать настройки генерации. Огромное им спасибо!

Сравнить результат "до" и "после".

Всю магию творит сочетание модели, апскейлера и негатива. Замена одного из компонентов ухудшит результат.
• Модель Photon — рисует ультра-реализм с повышенной резкостью. Попробуйте порисовать на ней text2img, модель того стоит, особенно если вас не смущает недостаток стандартных лиц в модели.
• Апскейлер 4x-Ultrasharp — дополнительно повышает резкость изображения.
• Негативный промпт — усиливает стремление модели рисовать фотореализм (описан в продолжении поста).

В процессе доработки изображения могут потеряться важные детали (сравните глаза киборга до и после), просто испортиться (зубы) или ухудшиться с превращением в кашу (всякие мелкие детали).
На результат очень сильно влияет сид генерации. Если у вас достаточно времени и терпения, то попробуйте сгенерировать на каждом этапе по несколько изображений, чтобы отобрать лучшие и на заключительном этапе собрать коллаж из фрагментов и сшить в одно изображения (инструкция как это сделать).
Итоговый результат можно дополнительно улучшать инпейнте и перерисовывать с небольшим денойзом отдельные области, которые получились неудачно.

Продолжение, технические детали процесса.

____
У капибары лапки • подписаться

#обзор

Начало, об апскейле с повышением резкости и качества.

Выполнение задачи в автоматике безрадостно: потребуется вручную контролировать весь процесс, перетаскивать изображения туда-сюда и не запутаться, на всех этапах менять настройки генерации и скучать пока генерация происходит.

ComfyUI значительно упрощает решение задачи: достаточно добавить каскад из нескольких нод UltimateSDUpscale и передать в них общий сид, чтобы процесс доработки изображения происходил в один клик. Можно зафиксировать сид генерации изображения, но сид апскейла сделать случайным и сгенерировать много улучшенных (или "улучшенных" вариантов).

Воркфлоу для ComfyUI, на котором уже настроен двойной проход апскейлера. На карте 3080 Ti создане изображения 768х1200 на XL модели и два прохода выполняются за 3-3,5 минуты.

Порядок действий
1.Рисуем изображение на той модели, которая вам нравится. При наличии времени и желания этим методом можно вытянуть в фотореализм даже рисунки аниме или мультяшной модели. В комментариях прикреплю мой рисунок и обработанный от FiL.
2.Переносим изображение в img2img и задаём настройки
• prompt: detailed
• negative prompt: cartoon, painting, illustration, (worst quality, low quality, normal quality:2)
Это рекомендованный базовый негатив для модели Photon. Можно поэкспериментировать и задавать коэффициент в скобках в диапазоне от 1.4 до 2.
• model: photon_v1
• samplig: Heun / DPM++ SDE / dmppp_sde_gpu (только для ComfyUI)
• size: 512x512
• denoising strength: 0.25-0.4 для первого прохода, 0.06-0.09 для всех последующих
Степень денойза придётся подбирать вручную исходя из вашего изображения и желаемого процента изменений.
• скрипт SD Upscale или SD Ultimate Upscale с настройками:
— коэффициент: рекомендую не жадничать и ставить 1.25 для первых двух прогонов и не более 1.5 для последующих.
— upscaler: 4x-Ultrasharp
— padding / overlap: 160
— upscaler: 4x-Ultrasharp
3. Перекидываем полученное изображение в img2img, корректируем настройки denoising strength и коэффциент апскейла, запускаем процесс повторно.
4. Повторяем п.3 до достижения наилучшего результата.
Для повышения качества "фотографии" достаточно 1-3 прохода, для иллюстрации может потребоваться больше.

____
У капибары лапки • подписаться

#LoRA #заметки

Обучение LoRA на XL моделях упирается в объём видеопамяти. 12 Gb VRAM не хватает для тренировки с параметрами, привычными по 1.5.
Всё было бы очень плохо, если бы добрые люди не делились своим опытом. radianart написал пост на Reddit о параметрах, с которыми он тренирует лоры стилей для XL моделей. Ему хватило 3070 Ti 8Gb.

Совместно с Тимуром "Olivia" натренировали пару лор на его датасете, сейчас тестируем результаты. Предварительно всё нравится, но нужно больше мнений.
Если у вас есть готовый датасет стиля с изображениями 768х768 или 1024х1024 — попробуйте натренировать лору на XL модели по этому конфигу.
Очень интересно узнать ваши мнения о полученных по вашим датасетам лорах стилей.

На 3080 Ti лора (не локон, как советует radianart) на датасете 41 из изображения в 100 проходов (4.100 шагов) тренировалась 71 минуту на batch=1 и 53 минуты на batch=2. Запаса по cuda и VRAM хватило бы на batch=3, но пока не тестировали.

В комментариях к посту лежит конфиг, на котором тренировали лору. Желательно обновить скрипты kohya до последней версии.
Попробуйте натренировать как минимум с batch=1 и batch=2, чтобы сравнить результаты.

_________
Ниже пересказ важных моментов из поста radianart:
• По его мнению LoCoN работает со стилями лучше, чем LoRA.
• Хороший датасет 768х768 может ускорить тренировку и дать сопоставимые результаты по качеству.
• Рекомендуется выгрузить из видеопамяти вообще всё лишнее (дискорд, телеграм, стим, прочий софт) и отключить аппаратное ускорение браузера. Сможете поставить выше dim.
• Рекомендованные настройки
— Constant scheduler или constant with warmups.
— No half VAE
— Text Encoder learning rate = 0
— Cache text encoder outputs — вкл
— Gradient checkpointing
— Memory efficient attention — ВЫКЛ, оно замедляет тренировку и не даст выигрыша по памяти
— Optimizer = Adafactor, конкретно в этой задаче он покажет лучшие результаты. Adam (не Adam8b) работает быстрее, но шанс получить битую лору выше. В комментариях к оригинальному посту есть информация когда бьётся лора.
— Для Optimizer = Adafactor желательно добавить строку scale_parameter=False relative_step=False warmup_init=False в Optimizer extra arguments.
— Если Alpha = 1 добавить ключ weight_decay=0.01
— При использовании constant without warmup нужно добавить ключ weight_decay=0.1 decouple=True use_bias_correction=True safeguard_warmup=True betas=0.9,0.99 (safeguard_warmup=False
— Шаги: 3.000 или более.
— Network Rank (dim) / Network Alpha одинаковые (мы пробовали на 24/24 и прокатило).
— Learning rate 0.0002-0.0004.
— Noise offset = 0
— Min SNR gamma = 5

____
У капибары лапки • подписаться

#Automatic1111

Вышло обновление Automatic1111 Web UI, версия 1.6.0.

Список изменений содержит более 130 пунктов, проделан гигантский объём работы. Наверняка что-то нибудь снова сломали.
Выждите день-два, на всякий случай. Если не появится информации о массовых сбоях и отвалах расширений — можно обновляться. Я тестировал версию 1.6.0-RC ещё 22 августа, всё работало, но подлагивало и иногда падало.

Важные и заметные на глаз изменения
— Поддержка рефайнера для XL моделей.
— hires.fix — добавлен выбор модели, отличной от модели генерации (можно использовать по аналогии с рефайнером.
— Для карт NVidia добавлена функция генерации случайного шума так, чтобы он совпадал с генерациями на CPU/AMD/Mac.
— Переработан инструмент работы со стилями.
— Новые семплеры: Restart, DPM++ 2M SDE Exponential, DPM++ 2M SDE Heun, DPM++ 2M SDE Heun Karras, DPM++ 2M SDE Heun Exponential, DPM++ 3M SDE, DPM++ 3M SDE Karras, DPM++ 3M SDE Exponential
— Переработаны семплеры DDIM, PLMS, UniPC для использования CFG денойзера по аналогии с прочими семплерами. Добавлена доступность семплеров для XL моделей и в img2img. Добавлена поддержка синтаксиса AND.
— VAE: можно записывать информацию о выбранной VAE в метаданные.
— Вкладки экстрасетей всегда отображаются в интерфейсе.
— Шаблон настроек для моделей. Инструмент похож на редактор для LoRA.
— VAE: редактор шаблонов для моделей, можно ассоциировать модели и VAE.
— Настройки для основного интерфейса: можно задать раздельное поведение при вставке промптов для вкладок text2img и img2img.
— Возможность изменить размер полей с настройками генерации и превью изображения с помощью перетаскивания границы мышкой.
— Добавлен флаг --medvram-sdxl, который работает аналогично --medvram, но только на XL моделях.
— XYZ: поддержка семплеров хайреза; возможность напрямую вводить текст минуя выпадающие списки; в метках осей убраны пути к моделям.
— При запуске локально автоматически открывает WebUI в браузере по умолчанию. Сказочное свинство.
Отключить это можно в настройках: settings - system - Automatically open webui in browser on startup - disable.

Всякие мелочи
— Новые нескучные темы градио
— Кэширование лор и вае в памяти.
— Переработан интерфейс hires.fix (стало хуже и непонятнее)
— Во вкладку img2img добавлен параметр регулировки дополнительного шума.
— Попытка решить проблему NaN для нестабильных VAE на точности fp32.
— Оптимизации для MPS/macOS.

API
— Новые аргументы запуска командной строки для отключения пользовательских расширений или всех расширений.
--disable-extra-extensions и --disable-all-extensions
— Команда --loglevel для логирования всего.
— Поддержка http/https URL в API.

Полный список изменений в гитхабе проекта.

____
У капибары лапки • подписаться

#дайджест

Важные посты в блоге за август 2023-го
Отправьте пост друзьям, рисующим на Stable Diffusion. Они многое теряют, если ещё не подписались на этот канал.

За месяц опубликовано 39 постов из которых 25 попали в дайджест.

Расширения и инструменты для ComfyUI
1. ComfyUI Manager — библиотека кастомных нод.
2. Базовый набор нод, полезных для новичка.
3. Скрипт для обновления всех нод и расширений в ComfyUI.
4. Face Detailer — инструмент для ленивого инпейнта лиц.
5. Мой воркфлоу для работы с XL моделями и повышения чёткости изображений.

Расширения и инструменты для Automatic1111 WebUI
1. Prompt Formatter — крошечное расширение для улучшения форматирования промпта в один клик.
2. GPU temperature protection — останавливает генерацию если видеокарта перегрелась.
3. Refiner — добавляет возможность пройтись рефайнером для XL моделей.

Руководства по инструментам
1. Метод апскейла с повышением качества и резкости изображений (описание метода и настройки).
2. Тренируем лору стиля для XL модели.
3. Улучшаем пальцы с помощью hires.fix.
4. Инструмент сохранения шаблонов настроек для использования LoRA.

Токены
1. Задаём позы с помощью токенов без использования ControlNet.
2. Управляем взглядом персонажей с помощью токенов.
3. Подборка: 264 техники рисования, 1800 имён художников, 400 фотографов, 100 промптов для цветокоррекции фото.
4. Команда, которая может предотвратить перемешивание цветов, если в промпте задано несколько.
5. Красивое закатное освещение.
6. Доработанный стиль для рисования мрачного фентези.
7. Подборка токенов причёсок + описания способа получить бесконечные списки токенов.
8. Способ смешивания цветов.

Модели
1. DynaVision XL — лучшая XL модель для рисования мультяшного 3D (обзор модели и примеры моих рисунков).
2. blue_pencil-XL — XL модель для рисования аниме без ярко выраженного стиля (обзор модели и примеры моих рисунков).
3. Мысли об актуальных XL моделях и DreamShaper XL.

Всякая всячина
1. Описание обновления 1.6.0 для автоматика.
2. Наблюдение: как набрать лайки и попасть в топ Civitai.

___________


___________
У капибары лапки • подписаться