#расширение #ComfyUI

ComfyUI Manager
https://github.com/ltdrdata/ComfyUI-Manager

Библиотека наборов кастомных нод. Обязательный инструмент при работе в ComfyUI.

Интерфейс расширения
Вызывается кнопкой Manager в нижней части основного меню ComfyUI.

1.Install Custom Nodes
Инструмент для установки наборов кастомных нод. Ничего непонятно, но очень интересно.
В интерфейсе есть поиск по названию наборов, но работает он не всегда хорошо.
2. Install Mussing Custom Nodes
При загрузке воркфлоу с нодами, которые у вас отсутствуют, находит нужные наборы и предлагает их установить.
3. Install Models
Инструмент для скачивания моделей. Очень неудобный, но зачем-то существующий.
4. Update Comfy UI
Обновление сервера. Функция работает странно. Для обновления лучше использовать скрипты из стандартного набора или команду git pull в корневой папке сервера.
5. Fetch Updates
Получение информации об обновлениях без их установки.
6. Alternatives of A1111
Предлагает расширения, которые переносят в ComfyUI инструменты из Automatic1111 WebUI.
7. ComfyUI Community Manual
Ссылка на руководства от сообщества.
8. Preview method
Изменяет метод отображения превью последнего сгенерированного изображения. Рекомендую выбрать самый быстрый способ, чтобы не нагружать систему.
9. Bage
Отображает рядом с нодами информацию из какого пака взята нода. Полезно при сборе сложных вокрфлоу, когда нода не даёт подсказку о совместимых с ней нодах и требуется ручной поиск.

Установка расширения
1.Выключает сервер ComfyUI
2.Вызываем консоль в папке custom_nodes, находится в корне ComfyUI (кликаем в адресной строке проводника, удаляем всё, пишем cmd, жмём энтер на клавиатуре).
Вводим в консоль команду, жмём энтер, дожидаемся выполнения, закрываем окно.

git clone https://github.com/ltdrdata/ComfyUI-Manager.git

3. Запускаем сервер ComfyUI

Инструкция по обновлению установленных нод: https://xn--r1a.website/capybara_paws/531

____
У капибары лапки • подписаться

#расширение #ComfyUI

Базовый набор нод, с чего можно начать знакомство с построением собственных воркфлоу. Описать все возможности каждого набора нод не представляется возможным, поэтому отмечу лишь важные для меня функции.

Инструкция по обновлению установленных нод: https://xn--r1a.website/capybara_paws/531

ComfyUI Impact Pack
— Pipe
Инструмент для уменьшения количества лапши на экране. Нода позволяет объединить 5-7 соединений в одно.
— Detailer, Face Detailer
Инструменты для сегментации изображения и улучшения определённого объекта (лица, человека, одежды, ect). Работает аналогично After Detailer.

UltimateSDUpscale
Тайловый апскейлер на денойзе для увеличения изображения до любых размеров. Работает аналогично скрипту Ultimate SD Upscale в Automatic1111.

WAS Node Suite
— Ноды с возможностью передавать в переменную название загруженной модели, лоры или определённый текст.
— Лучшая нода для сохранения изображений (поддерживает много параметров) из всего, что пока доводилось встречать.
— Большое количество нод для объединения текста.
— Большое количество нод для выполнения логических операций.

SeargeSDXL
Набор нод для работы невероятно мощного и очень популярного комбайна.
https://civitai.com/models/111463

Обложка поста: страшный набор нод начинающего воркфлоустроителя. В автоматике эта задача решается одной строчкой в меню настроек.

____
У капибары лапки • подписаться

#ComfyUI

Скрипт для обновления ComfyUI и всех установленных наборов нод перед запуском сервера.
Положите его в папку рядом с папкой ComfyUI и запустите.

Скрипт дёргает PowerShell для раскрашивания цветом результатов вывода. При первом запуске система защиты SmartScreen в Microsoft Defender сообщит что это не безопасно. Необходимо нажать "подробнее" и "выполнить в любом случае".
Выполнение скрипта безопасно для вашей системы.

Автор скрипта alexbofa, огромное ему спасибо.

____
У капибары лапки • подписаться

#арт

Капибара в шоке от количества постов про кастомные ноды в ComfyUI и даже забыла про свой обед.

____
У капибары лапки • подписаться

#ComfyUI #расширение

Face Detailer — инструмент для поиска на изображении определённых объектов (лица, люди) и автоматического инпейнта найденного объекта для повышения качества и детализации. Нода принадлежит к набору Impact Pack (инструкция по установке).
Почти полный аналог !After Detailer из автоматика.

Расширение превосходно задокументировано. Есть и текстовое описание всех параметров, и готовые примеры с настройками.
Параметры, на которых я генерирую изображения добавлены скриншотом в комментариях к этой записи и добавлены в мой воркфлоу.

В процессе подключения ноды нет особых сложностей, все поля подключения связей очевидны. Отмечу лишь интересные моменты:
• С помощью входов detailer_hook/detailer_pipe можно объединить несколько нод Face Detailer в каскад, для улучшения вообще всего. В After Detailer это делается через включение дополнительных вкладок.
• Модели для сегментации (нода Ultralytics Detecror Provide, связи bbox_detector и segm_detector_opt).
По умолчанию с расширением скачивается одна или две модели. Основные модели, к которым вы привыкли по After Detailer можно скачать с huggingface. Модели хранятся в папке ComfyUI\models\ultralytics.
• seed — отвечает за результат. Можно зафиксировать сид основного изображения и поставить случайный сид в Face Detailer, чтобы получать варианты одного изображения с разными лицами.
• sampler — попробуйте dpmpp_sde_gpu/normal. Тяжёлый и мощный семплер для дополнительной детализации.

____
У капибары лапки • подписаться

#обзор

Методу апскейла с повышением резкости и качества для "фото" уже несколько месяцев (два для фотона), но удалось его опробовать только сейчас.
Дело не обошлось без помощи товарищей: FiL рассказал про вариативность негативов, Dingo убедил что это таки надо сделать и помог протестировать настройки генерации. Огромное им спасибо!

Сравнить результат "до" и "после".

Всю магию творит сочетание модели, апскейлера и негатива. Замена одного из компонентов ухудшит результат.
• Модель Photon — рисует ультра-реализм с повышенной резкостью. Попробуйте порисовать на ней text2img, модель того стоит, особенно если вас не смущает недостаток стандартных лиц в модели.
• Апскейлер 4x-Ultrasharp — дополнительно повышает резкость изображения.
• Негативный промпт — усиливает стремление модели рисовать фотореализм (описан в продолжении поста).

В процессе доработки изображения могут потеряться важные детали (сравните глаза киборга до и после), просто испортиться (зубы) или ухудшиться с превращением в кашу (всякие мелкие детали).
На результат очень сильно влияет сид генерации. Если у вас достаточно времени и терпения, то попробуйте сгенерировать на каждом этапе по несколько изображений, чтобы отобрать лучшие и на заключительном этапе собрать коллаж из фрагментов и сшить в одно изображения (инструкция как это сделать).
Итоговый результат можно дополнительно улучшать инпейнте и перерисовывать с небольшим денойзом отдельные области, которые получились неудачно.

Продолжение, технические детали процесса.

____
У капибары лапки • подписаться

#обзор

Начало, об апскейле с повышением резкости и качества.

Выполнение задачи в автоматике безрадостно: потребуется вручную контролировать весь процесс, перетаскивать изображения туда-сюда и не запутаться, на всех этапах менять настройки генерации и скучать пока генерация происходит.

ComfyUI значительно упрощает решение задачи: достаточно добавить каскад из нескольких нод UltimateSDUpscale и передать в них общий сид, чтобы процесс доработки изображения происходил в один клик. Можно зафиксировать сид генерации изображения, но сид апскейла сделать случайным и сгенерировать много улучшенных (или "улучшенных" вариантов).

Воркфлоу для ComfyUI, на котором уже настроен двойной проход апскейлера. На карте 3080 Ti создане изображения 768х1200 на XL модели и два прохода выполняются за 3-3,5 минуты.

Порядок действий
1.Рисуем изображение на той модели, которая вам нравится. При наличии времени и желания этим методом можно вытянуть в фотореализм даже рисунки аниме или мультяшной модели. В комментариях прикреплю мой рисунок и обработанный от FiL.
2.Переносим изображение в img2img и задаём настройки
• prompt: detailed
• negative prompt: cartoon, painting, illustration, (worst quality, low quality, normal quality:2)
Это рекомендованный базовый негатив для модели Photon. Можно поэкспериментировать и задавать коэффициент в скобках в диапазоне от 1.4 до 2.
• model: photon_v1
• samplig: Heun / DPM++ SDE / dmppp_sde_gpu (только для ComfyUI)
• size: 512x512
• denoising strength: 0.25-0.4 для первого прохода, 0.06-0.09 для всех последующих
Степень денойза придётся подбирать вручную исходя из вашего изображения и желаемого процента изменений.
• скрипт SD Upscale или SD Ultimate Upscale с настройками:
— коэффициент: рекомендую не жадничать и ставить 1.25 для первых двух прогонов и не более 1.5 для последующих.
— upscaler: 4x-Ultrasharp
— padding / overlap: 160
— upscaler: 4x-Ultrasharp
3. Перекидываем полученное изображение в img2img, корректируем настройки denoising strength и коэффциент апскейла, запускаем процесс повторно.
4. Повторяем п.3 до достижения наилучшего результата.
Для повышения качества "фотографии" достаточно 1-3 прохода, для иллюстрации может потребоваться больше.

____
У капибары лапки • подписаться

#LoRA #заметки

Обучение LoRA на XL моделях упирается в объём видеопамяти. 12 Gb VRAM не хватает для тренировки с параметрами, привычными по 1.5.
Всё было бы очень плохо, если бы добрые люди не делились своим опытом. radianart написал пост на Reddit о параметрах, с которыми он тренирует лоры стилей для XL моделей. Ему хватило 3070 Ti 8Gb.

Совместно с Тимуром "Olivia" натренировали пару лор на его датасете, сейчас тестируем результаты. Предварительно всё нравится, но нужно больше мнений.
Если у вас есть готовый датасет стиля с изображениями 768х768 или 1024х1024 — попробуйте натренировать лору на XL модели по этому конфигу.
Очень интересно узнать ваши мнения о полученных по вашим датасетам лорах стилей.

На 3080 Ti лора (не локон, как советует radianart) на датасете 41 из изображения в 100 проходов (4.100 шагов) тренировалась 71 минуту на batch=1 и 53 минуты на batch=2. Запаса по cuda и VRAM хватило бы на batch=3, но пока не тестировали.

В комментариях к посту лежит конфиг, на котором тренировали лору. Желательно обновить скрипты kohya до последней версии.
Попробуйте натренировать как минимум с batch=1 и batch=2, чтобы сравнить результаты.

_________
Ниже пересказ важных моментов из поста radianart:
• По его мнению LoCoN работает со стилями лучше, чем LoRA.
• Хороший датасет 768х768 может ускорить тренировку и дать сопоставимые результаты по качеству.
• Рекомендуется выгрузить из видеопамяти вообще всё лишнее (дискорд, телеграм, стим, прочий софт) и отключить аппаратное ускорение браузера. Сможете поставить выше dim.
• Рекомендованные настройки
— Constant scheduler или constant with warmups.
— No half VAE
— Text Encoder learning rate = 0
— Cache text encoder outputs — вкл
— Gradient checkpointing
— Memory efficient attention — ВЫКЛ, оно замедляет тренировку и не даст выигрыша по памяти
— Optimizer = Adafactor, конкретно в этой задаче он покажет лучшие результаты. Adam (не Adam8b) работает быстрее, но шанс получить битую лору выше. В комментариях к оригинальному посту есть информация когда бьётся лора.
— Для Optimizer = Adafactor желательно добавить строку scale_parameter=False relative_step=False warmup_init=False в Optimizer extra arguments.
— Если Alpha = 1 добавить ключ weight_decay=0.01
— При использовании constant without warmup нужно добавить ключ weight_decay=0.1 decouple=True use_bias_correction=True safeguard_warmup=True betas=0.9,0.99 (safeguard_warmup=False
— Шаги: 3.000 или более.
— Network Rank (dim) / Network Alpha одинаковые (мы пробовали на 24/24 и прокатило).
— Learning rate 0.0002-0.0004.
— Noise offset = 0
— Min SNR gamma = 5

____
У капибары лапки • подписаться

#Automatic1111

Вышло обновление Automatic1111 Web UI, версия 1.6.0.

Список изменений содержит более 130 пунктов, проделан гигантский объём работы. Наверняка что-то нибудь снова сломали.
Выждите день-два, на всякий случай. Если не появится информации о массовых сбоях и отвалах расширений — можно обновляться. Я тестировал версию 1.6.0-RC ещё 22 августа, всё работало, но подлагивало и иногда падало.

Важные и заметные на глаз изменения
— Поддержка рефайнера для XL моделей.
— hires.fix — добавлен выбор модели, отличной от модели генерации (можно использовать по аналогии с рефайнером.
— Для карт NVidia добавлена функция генерации случайного шума так, чтобы он совпадал с генерациями на CPU/AMD/Mac.
— Переработан инструмент работы со стилями.
— Новые семплеры: Restart, DPM++ 2M SDE Exponential, DPM++ 2M SDE Heun, DPM++ 2M SDE Heun Karras, DPM++ 2M SDE Heun Exponential, DPM++ 3M SDE, DPM++ 3M SDE Karras, DPM++ 3M SDE Exponential
— Переработаны семплеры DDIM, PLMS, UniPC для использования CFG денойзера по аналогии с прочими семплерами. Добавлена доступность семплеров для XL моделей и в img2img. Добавлена поддержка синтаксиса AND.
— VAE: можно записывать информацию о выбранной VAE в метаданные.
— Вкладки экстрасетей всегда отображаются в интерфейсе.
— Шаблон настроек для моделей. Инструмент похож на редактор для LoRA.
— VAE: редактор шаблонов для моделей, можно ассоциировать модели и VAE.
— Настройки для основного интерфейса: можно задать раздельное поведение при вставке промптов для вкладок text2img и img2img.
— Возможность изменить размер полей с настройками генерации и превью изображения с помощью перетаскивания границы мышкой.
— Добавлен флаг --medvram-sdxl, который работает аналогично --medvram, но только на XL моделях.
— XYZ: поддержка семплеров хайреза; возможность напрямую вводить текст минуя выпадающие списки; в метках осей убраны пути к моделям.
— При запуске локально автоматически открывает WebUI в браузере по умолчанию. Сказочное свинство.
Отключить это можно в настройках: settings - system - Automatically open webui in browser on startup - disable.

Всякие мелочи
— Новые нескучные темы градио
— Кэширование лор и вае в памяти.
— Переработан интерфейс hires.fix (стало хуже и непонятнее)
— Во вкладку img2img добавлен параметр регулировки дополнительного шума.
— Попытка решить проблему NaN для нестабильных VAE на точности fp32.
— Оптимизации для MPS/macOS.

API
— Новые аргументы запуска командной строки для отключения пользовательских расширений или всех расширений.
--disable-extra-extensions и --disable-all-extensions
— Команда --loglevel для логирования всего.
— Поддержка http/https URL в API.

Полный список изменений в гитхабе проекта.

____
У капибары лапки • подписаться

#дайджест

Важные посты в блоге за август 2023-го
Отправьте пост друзьям, рисующим на Stable Diffusion. Они многое теряют, если ещё не подписались на этот канал.

За месяц опубликовано 39 постов из которых 25 попали в дайджест.

Расширения и инструменты для ComfyUI
1. ComfyUI Manager — библиотека кастомных нод.
2. Базовый набор нод, полезных для новичка.
3. Скрипт для обновления всех нод и расширений в ComfyUI.
4. Face Detailer — инструмент для ленивого инпейнта лиц.
5. Мой воркфлоу для работы с XL моделями и повышения чёткости изображений.

Расширения и инструменты для Automatic1111 WebUI
1. Prompt Formatter — крошечное расширение для улучшения форматирования промпта в один клик.
2. GPU temperature protection — останавливает генерацию если видеокарта перегрелась.
3. Refiner — добавляет возможность пройтись рефайнером для XL моделей.

Руководства по инструментам
1. Метод апскейла с повышением качества и резкости изображений (описание метода и настройки).
2. Тренируем лору стиля для XL модели.
3. Улучшаем пальцы с помощью hires.fix.
4. Инструмент сохранения шаблонов настроек для использования LoRA.

Токены
1. Задаём позы с помощью токенов без использования ControlNet.
2. Управляем взглядом персонажей с помощью токенов.
3. Подборка: 264 техники рисования, 1800 имён художников, 400 фотографов, 100 промптов для цветокоррекции фото.
4. Команда, которая может предотвратить перемешивание цветов, если в промпте задано несколько.
5. Красивое закатное освещение.
6. Доработанный стиль для рисования мрачного фентези.
7. Подборка токенов причёсок + описания способа получить бесконечные списки токенов.
8. Способ смешивания цветов.

Модели
1. DynaVision XL — лучшая XL модель для рисования мультяшного 3D (обзор модели и примеры моих рисунков).
2. blue_pencil-XL — XL модель для рисования аниме без ярко выраженного стиля (обзор модели и примеры моих рисунков).
3. Мысли об актуальных XL моделях и DreamShaper XL.

Всякая всячина
1. Описание обновления 1.6.0 для автоматика.
2. Наблюдение: как набрать лайки и попасть в топ Civitai.

___________


___________
У капибары лапки • подписаться