#ComfyUI

Описание воркфлоу.

#ComfyUI #рабочийпроцесс

В процессе самообразования и велосипедостроения доработал свой воркфлоу для рисования на XL моделях. Где-то сделал удобнее, где-то сделал неудобнее.
Чем больше добавляется нод, тем монструознее становится инструмент. Жду комментариев, пожеланий и предложений от всех, кто рискнёт опробовать.

Воркфлоу заточен на быстрое создание создание большого количества изображений обычного качества и автоматизированной полировке с выбором вариантов для отдельных изображений.
Для отключения нод используйте функцию "bypass" (ПКМ по нужной ноде, нажмите "bypass" в появившемся меню).
— Рисование: случайные сид, ноды апскейлера и детализации лиц отключены.
— Полировка: фиксированный сид генерации, случайный сид апскейлера, ноды апскейлера и детализации лиц включены.

Скачать с Civitai: https://civitai.com/models/138176?modelVersionId=152629

Список изменений
• В название файла выносится размер изображения и название модели. При включении апскейлера добавляется информация о модели, на которой сделан апскейл и о выбранном апскейлере.
• Добавлена возможность выполнять апскейл на модели, отличной от модели рисования.
• Добавлен более понятный выключатель для группы апскейла.
• Добавлен второй проход апскейла. Добавлена возможность задать для апскейла собственный промпт. Скорректированы настройки апскейла.
• Исправлены ошибки при подключении ноды детализации лица.
• Управление сидом вынесено в отдельную ноду. Сид передаётся и в семплеры, и в ноды апскейла.
• Добавлены ноды для подключения лор, можно выбрать до трёх штук. Отдельный набор лор для базовой модели, отдельный для рефайнера.

Планы по доработке
• Возможность намазывать стили из styles.csv автоматика так, чтобы они отображались в EXIF и читались через Prompt Reader (сейчас умею намазывать но без сохранения в EXIF).
• Добавление матрицы XYZ или её аналога.
• (возможно) добавление ноды для изменения пропорций изображения в пару кликов.
• (возможно) добавление контролнета.
____
У капибары лапки • подписаться

#расширение #ComfyUI

ComfyUI Manager
https://github.com/ltdrdata/ComfyUI-Manager

Библиотека наборов кастомных нод. Обязательный инструмент при работе в ComfyUI.

Интерфейс расширения
Вызывается кнопкой Manager в нижней части основного меню ComfyUI.

1.Install Custom Nodes
Инструмент для установки наборов кастомных нод. Ничего непонятно, но очень интересно.
В интерфейсе есть поиск по названию наборов, но работает он не всегда хорошо.
2. Install Mussing Custom Nodes
При загрузке воркфлоу с нодами, которые у вас отсутствуют, находит нужные наборы и предлагает их установить.
3. Install Models
Инструмент для скачивания моделей. Очень неудобный, но зачем-то существующий.
4. Update Comfy UI
Обновление сервера. Функция работает странно. Для обновления лучше использовать скрипты из стандартного набора или команду git pull в корневой папке сервера.
5. Fetch Updates
Получение информации об обновлениях без их установки.
6. Alternatives of A1111
Предлагает расширения, которые переносят в ComfyUI инструменты из Automatic1111 WebUI.
7. ComfyUI Community Manual
Ссылка на руководства от сообщества.
8. Preview method
Изменяет метод отображения превью последнего сгенерированного изображения. Рекомендую выбрать самый быстрый способ, чтобы не нагружать систему.
9. Bage
Отображает рядом с нодами информацию из какого пака взята нода. Полезно при сборе сложных вокрфлоу, когда нода не даёт подсказку о совместимых с ней нодах и требуется ручной поиск.

Установка расширения
1.Выключает сервер ComfyUI
2.Вызываем консоль в папке custom_nodes, находится в корне ComfyUI (кликаем в адресной строке проводника, удаляем всё, пишем cmd, жмём энтер на клавиатуре).
Вводим в консоль команду, жмём энтер, дожидаемся выполнения, закрываем окно.

git clone https://github.com/ltdrdata/ComfyUI-Manager.git

3. Запускаем сервер ComfyUI

Инструкция по обновлению установленных нод: https://xn--r1a.website/capybara_paws/531

____
У капибары лапки • подписаться

#расширение #ComfyUI

Базовый набор нод, с чего можно начать знакомство с построением собственных воркфлоу. Описать все возможности каждого набора нод не представляется возможным, поэтому отмечу лишь важные для меня функции.

Инструкция по обновлению установленных нод: https://xn--r1a.website/capybara_paws/531

ComfyUI Impact Pack
— Pipe
Инструмент для уменьшения количества лапши на экране. Нода позволяет объединить 5-7 соединений в одно.
— Detailer, Face Detailer
Инструменты для сегментации изображения и улучшения определённого объекта (лица, человека, одежды, ect). Работает аналогично After Detailer.

UltimateSDUpscale
Тайловый апскейлер на денойзе для увеличения изображения до любых размеров. Работает аналогично скрипту Ultimate SD Upscale в Automatic1111.

WAS Node Suite
— Ноды с возможностью передавать в переменную название загруженной модели, лоры или определённый текст.
— Лучшая нода для сохранения изображений (поддерживает много параметров) из всего, что пока доводилось встречать.
— Большое количество нод для объединения текста.
— Большое количество нод для выполнения логических операций.

SeargeSDXL
Набор нод для работы невероятно мощного и очень популярного комбайна.
https://civitai.com/models/111463

Обложка поста: страшный набор нод начинающего воркфлоустроителя. В автоматике эта задача решается одной строчкой в меню настроек.

____
У капибары лапки • подписаться

#ComfyUI

Скрипт для обновления ComfyUI и всех установленных наборов нод перед запуском сервера.
Положите его в папку рядом с папкой ComfyUI и запустите.

Скрипт дёргает PowerShell для раскрашивания цветом результатов вывода. При первом запуске система защиты SmartScreen в Microsoft Defender сообщит что это не безопасно. Необходимо нажать "подробнее" и "выполнить в любом случае".
Выполнение скрипта безопасно для вашей системы.

Автор скрипта alexbofa, огромное ему спасибо.

____
У капибары лапки • подписаться

#арт

Капибара в шоке от количества постов про кастомные ноды в ComfyUI и даже забыла про свой обед.

____
У капибары лапки • подписаться

#ComfyUI #расширение

Face Detailer — инструмент для поиска на изображении определённых объектов (лица, люди) и автоматического инпейнта найденного объекта для повышения качества и детализации. Нода принадлежит к набору Impact Pack (инструкция по установке).
Почти полный аналог !After Detailer из автоматика.

Расширение превосходно задокументировано. Есть и текстовое описание всех параметров, и готовые примеры с настройками.
Параметры, на которых я генерирую изображения добавлены скриншотом в комментариях к этой записи и добавлены в мой воркфлоу.

В процессе подключения ноды нет особых сложностей, все поля подключения связей очевидны. Отмечу лишь интересные моменты:
• С помощью входов detailer_hook/detailer_pipe можно объединить несколько нод Face Detailer в каскад, для улучшения вообще всего. В After Detailer это делается через включение дополнительных вкладок.
• Модели для сегментации (нода Ultralytics Detecror Provide, связи bbox_detector и segm_detector_opt).
По умолчанию с расширением скачивается одна или две модели. Основные модели, к которым вы привыкли по After Detailer можно скачать с huggingface. Модели хранятся в папке ComfyUI\models\ultralytics.
• seed — отвечает за результат. Можно зафиксировать сид основного изображения и поставить случайный сид в Face Detailer, чтобы получать варианты одного изображения с разными лицами.
• sampler — попробуйте dpmpp_sde_gpu/normal. Тяжёлый и мощный семплер для дополнительной детализации.

____
У капибары лапки • подписаться

#обзор

Методу апскейла с повышением резкости и качества для "фото" уже несколько месяцев (два для фотона), но удалось его опробовать только сейчас.
Дело не обошлось без помощи товарищей: FiL рассказал про вариативность негативов, Dingo убедил что это таки надо сделать и помог протестировать настройки генерации. Огромное им спасибо!

Сравнить результат "до" и "после".

Всю магию творит сочетание модели, апскейлера и негатива. Замена одного из компонентов ухудшит результат.
• Модель Photon — рисует ультра-реализм с повышенной резкостью. Попробуйте порисовать на ней text2img, модель того стоит, особенно если вас не смущает недостаток стандартных лиц в модели.
• Апскейлер 4x-Ultrasharp — дополнительно повышает резкость изображения.
• Негативный промпт — усиливает стремление модели рисовать фотореализм (описан в продолжении поста).

В процессе доработки изображения могут потеряться важные детали (сравните глаза киборга до и после), просто испортиться (зубы) или ухудшиться с превращением в кашу (всякие мелкие детали).
На результат очень сильно влияет сид генерации. Если у вас достаточно времени и терпения, то попробуйте сгенерировать на каждом этапе по несколько изображений, чтобы отобрать лучшие и на заключительном этапе собрать коллаж из фрагментов и сшить в одно изображения (инструкция как это сделать).
Итоговый результат можно дополнительно улучшать инпейнте и перерисовывать с небольшим денойзом отдельные области, которые получились неудачно.

Продолжение, технические детали процесса.

____
У капибары лапки • подписаться

#обзор

Начало, об апскейле с повышением резкости и качества.

Выполнение задачи в автоматике безрадостно: потребуется вручную контролировать весь процесс, перетаскивать изображения туда-сюда и не запутаться, на всех этапах менять настройки генерации и скучать пока генерация происходит.

ComfyUI значительно упрощает решение задачи: достаточно добавить каскад из нескольких нод UltimateSDUpscale и передать в них общий сид, чтобы процесс доработки изображения происходил в один клик. Можно зафиксировать сид генерации изображения, но сид апскейла сделать случайным и сгенерировать много улучшенных (или "улучшенных" вариантов).

Воркфлоу для ComfyUI, на котором уже настроен двойной проход апскейлера. На карте 3080 Ti создане изображения 768х1200 на XL модели и два прохода выполняются за 3-3,5 минуты.

Порядок действий
1.Рисуем изображение на той модели, которая вам нравится. При наличии времени и желания этим методом можно вытянуть в фотореализм даже рисунки аниме или мультяшной модели. В комментариях прикреплю мой рисунок и обработанный от FiL.
2.Переносим изображение в img2img и задаём настройки
• prompt: detailed
• negative prompt: cartoon, painting, illustration, (worst quality, low quality, normal quality:2)
Это рекомендованный базовый негатив для модели Photon. Можно поэкспериментировать и задавать коэффициент в скобках в диапазоне от 1.4 до 2.
• model: photon_v1
• samplig: Heun / DPM++ SDE / dmppp_sde_gpu (только для ComfyUI)
• size: 512x512
• denoising strength: 0.25-0.4 для первого прохода, 0.06-0.09 для всех последующих
Степень денойза придётся подбирать вручную исходя из вашего изображения и желаемого процента изменений.
• скрипт SD Upscale или SD Ultimate Upscale с настройками:
— коэффициент: рекомендую не жадничать и ставить 1.25 для первых двух прогонов и не более 1.5 для последующих.
— upscaler: 4x-Ultrasharp
— padding / overlap: 160
— upscaler: 4x-Ultrasharp
3. Перекидываем полученное изображение в img2img, корректируем настройки denoising strength и коэффциент апскейла, запускаем процесс повторно.
4. Повторяем п.3 до достижения наилучшего результата.
Для повышения качества "фотографии" достаточно 1-3 прохода, для иллюстрации может потребоваться больше.

____
У капибары лапки • подписаться

#LoRA #заметки

Обучение LoRA на XL моделях упирается в объём видеопамяти. 12 Gb VRAM не хватает для тренировки с параметрами, привычными по 1.5.
Всё было бы очень плохо, если бы добрые люди не делились своим опытом. radianart написал пост на Reddit о параметрах, с которыми он тренирует лоры стилей для XL моделей. Ему хватило 3070 Ti 8Gb.

Совместно с Тимуром "Olivia" натренировали пару лор на его датасете, сейчас тестируем результаты. Предварительно всё нравится, но нужно больше мнений.
Если у вас есть готовый датасет стиля с изображениями 768х768 или 1024х1024 — попробуйте натренировать лору на XL модели по этому конфигу.
Очень интересно узнать ваши мнения о полученных по вашим датасетам лорах стилей.

На 3080 Ti лора (не локон, как советует radianart) на датасете 41 из изображения в 100 проходов (4.100 шагов) тренировалась 71 минуту на batch=1 и 53 минуты на batch=2. Запаса по cuda и VRAM хватило бы на batch=3, но пока не тестировали.

В комментариях к посту лежит конфиг, на котором тренировали лору. Желательно обновить скрипты kohya до последней версии.
Попробуйте натренировать как минимум с batch=1 и batch=2, чтобы сравнить результаты.

_________
Ниже пересказ важных моментов из поста radianart:
• По его мнению LoCoN работает со стилями лучше, чем LoRA.
• Хороший датасет 768х768 может ускорить тренировку и дать сопоставимые результаты по качеству.
• Рекомендуется выгрузить из видеопамяти вообще всё лишнее (дискорд, телеграм, стим, прочий софт) и отключить аппаратное ускорение браузера. Сможете поставить выше dim.
• Рекомендованные настройки
— Constant scheduler или constant with warmups.
— No half VAE
— Text Encoder learning rate = 0
— Cache text encoder outputs — вкл
— Gradient checkpointing
— Memory efficient attention — ВЫКЛ, оно замедляет тренировку и не даст выигрыша по памяти
— Optimizer = Adafactor, конкретно в этой задаче он покажет лучшие результаты. Adam (не Adam8b) работает быстрее, но шанс получить битую лору выше. В комментариях к оригинальному посту есть информация когда бьётся лора.
— Для Optimizer = Adafactor желательно добавить строку scale_parameter=False relative_step=False warmup_init=False в Optimizer extra arguments.
— Если Alpha = 1 добавить ключ weight_decay=0.01
— При использовании constant without warmup нужно добавить ключ weight_decay=0.1 decouple=True use_bias_correction=True safeguard_warmup=True betas=0.9,0.99 (safeguard_warmup=False
— Шаги: 3.000 или более.
— Network Rank (dim) / Network Alpha одинаковые (мы пробовали на 24/24 и прокатило).
— Learning rate 0.0002-0.0004.
— Noise offset = 0
— Min SNR gamma = 5

____
У капибары лапки • подписаться