У капибары лапки | StableDiffusion: Extensions\Tools\Models\Tokens
2.12K subscribers
536 photos
5 videos
20 files
237 links
Оглавление и навигация: https://xn--r1a.website/capybara_paws/32

Консультации и предложения:

Рисую: https://www.artstation.com/capybara_paws
О канале: https://xn--r1a.website/capybara_paws/2
Download Telegram
#арт #SDXL #мысливслух

На волне хайпа по SDXL 0.9 договорились с Юлией, автором канала "85GB нейронок", совместно написать 9 промптов для SDXL 0.9, нарисовать на привычных каждому инструментах (Юлия через бота в дискорде, я в локальной ComfyUI) и обменяться впечатлениями о процессе рисования и результатах. Из-за моей загруженности как раз успели к релизу 1.0. нот хехе

StabilityAI целились в создание универсальной модели, которая при некотором файн-тюне должна конкурировать с Midjourney, и у них почти получилось.

Даже на коротких промптах модель старается додумать что-то исходя из контекста и улучшить (или "улучшить") результат. Эффект сильнее всего виден на фотографии девушки с мороженым (кадр 4). При добавлении токенов фотографичности (кадры 1 и 7) модель иногда покладисто следовала промпту, иногда не слушалась. Но убедить рисовать что надо оказалось не сложно: дополнительные токены стиля многократно улучшают "фоточковый" стиль модели.

При рисовании иллюстраций модель полностью следовала промпту во всех случаях, кроме аниме (кадр 8). Почему-то имена известных художников аниме, режиссёров или простые токены анимешности не давали желаемого результата. Это похоже на особенность базовой модели: некоторых художников и фотографов оно понимает иначе, чем популярные файнтюны на базе 1.5. Подмечал этот неприятный факт и ранее, но не придавал ему значения.

SDXL унаследовала все родовые болезни от предыдущих SD: избыточное боке, которое затрагивает объект на переднем плане (кадр 1: шерсть котофея в нижней части кадра; кадр 4: левое плечо и левая рука девушки); беды с пальцами и глазами; испорченные мелкие детали.

Но если взять в скобки все недостатки — модель получилась отличная, на несколько голов выше 1.5.
С нетерпением жду дообученных моделей от сообщества.

И с ещё большим нетерпением жду SDXXL, которая может быть, догонит Midjourney образца 2022-го года.

Промпты ко всем изображениям будут в комментариях к этой записи.
____
У капибары лапкиподписаться
13❤‍🔥1
Forwarded from 85GB нейронок
НУ НАКОНЕЦ-ТО

Пару недель назад мы заколлабились с Глебом и его каналом "У капабиры лапки" для тестирования SDXL. Я юзала дискорд-версию, а Глеб — локальную. Работали только промптами, без дополнительных фич, лор и стилей. Брали разные объекты для понимания того, как работает SDXL. Перед вами то, что получилось у меня и краткое ревью миджорниста:

1. Пользоваться можно.
2. Пользоваться сложно. Нельзя добавить бота к себе на сервер, надо тусить в общей песочнице, это неудобно — когда много людей, сложно найти сгенерированное, а уведомление о генерации часто кидает на чужое сообщение.
3. Сбрасывает. Меня это прям бесило. Когда много людей, СДХЛ не справляется и просто сбрасывает генерацию вместе с промптом. Снова и снова.
4. Эта хреновина старается быть Миджорней, но у неё не выходит. И она старается НЕ быть Стейблом, но не может избавиться от своего наследия. Поэтому промпты где-то посередине.

Ремар очка: Я работала сначала на версии 0.9, потом — на 1.0. В дискорде разницы нет вообще.

Промпты в комментах

Ссылка на дискорд-версию
7❤‍🔥4
#расширение

Style Editor
https://github.com/chrisgoringe/Styles-Editor

Расширение для работы с пользовательскими стилями внутри WebUI. Для отдельных задач может быть удобнее Notepad++ или электронных таблиц.

Особенности расширения
• Внесённые изменения сохраняются автоматически
• Резервное копирование состояния файла стилей при запуске сервера. Может пригодится если захотите откатить правки.
Резервные копии лежат в \extensions\Styles-Editor\backups, в названии файла дата и время запуска сервера. В архивах с тем же именем лежат файлы дополнительных стилей.
• Дополнительные файлы стилей для создания стилей в отдельном файле, не затрагивающем основной. Кнопка "Merge into master" переносит содержимое из дополнительного файла в основной.
Файлы лежат в \extensions\Styles-Editor\additonal_style_files
• Примечания к стилям, которые видны только на вкладке расширения.
Примечания лежат в stable-diffusion-webui\extensions\Styles-Editor\notes.json
• Фильтр для поиска всех стилей с определённым токеном или набором токенов.
• Поиск и замена токена или группы токена во всех стилях.
• Возможность отсортировать стили в нужном порядке без редактирования файла стилей.
• Добавление новых строк (стилей) кнопкой "New Row" в левом нижнем углу
• Двойной клик по ячейке для редактирования данных. Клик правой кнопкой мыши + delete/backspace для удаления строки.
• Возможность зашифровать файлы стилей (хех) с помощью pyAesCrypt.

{prompt}
При использовании стиля вставляет ваш промпт в место, отмеченное этой конструкцией.

Недостатки расширения
• Ломает перезапуск сервера кнопкой "Reload UI". Для перезапуска сервера необходимо выключать сервер целиком и запускать его заново.
• Нет функции переключения между двумя файлами стилей на лету. Либо я такой невнимательный и не увидел нужную кнопку.

Стили
Негативные промпты
Монохромный
Мрачноватый
____
У капибары лапкиподписаться
❤‍🔥9
#заметки

Разделитель группы стилей

Сейчас у меня в файле стилей 150+ строк (137 стилей). Храню там собственные стили и написанные на заказ; хорошие стили из открытых источников и непубличные платные стили. Часть стилей — набор негативных промтов и улучшатели результатов для определённой модели. Не всем пользуюсь регулярно, но всё храню как пример или основы для составления промптов.

Чтобы не потеряться в этом многообразии завёл два простых правила ведения файла стилей:
• Однотипные стили или стили из одного источника группируются.
• Группы стилей отделены друг от друга пустым стилем-разделителем.

Для создания разделителя достаточно добавить что-то подобное в новую строку файла стилей.
====== Models ======,,
————— NEGATIVES —————,,

Расширения для работы со стилями
Better Styles — добавляет обложки стилям.
Style Editor — редактор стилей внутри WebUI.

В блоге нет тэга "взлом жизни", все полезные трюки отмечены хэштэгом #заметки.
____
У капибары лапкиподписаться
18❤‍🔥5
#обзор #расширение

Stable Diffusion Prompt Reader (civitai, githib)

Программа под Windows, MacOS, Linux для чтения, копирования, редактирования или удаления метаданных параметров генерации изображения на Stable Diffusion.

С частичным переходом на ComfyUI потребовался инструмент для замены PNG info, чтобы читать промпты изображений без возни с разными вкладками ComfyUI и не загружая в память копию автоматика. Бонусом получил удаление или редактирование медатанных. Искал медь, нашёл золото.

Особенности программы
• Отображение параметров генерации, аналогично PNG info (model, seed, cfg, sampler, steps, clip skip, denoising strenght, upscaler, etc).
• Полная поддержка формата Automatic1111 (png, jpeg, webp, txt), частично ComfyUI (png). Понимает форматы InvokeAI, NovelAI, Draw Things, Naifu(4chan).
• Копирование промпта и негатива в один клик.
• Удаление метаданных с перезаписью файла или созданием нового файла.
• Редактирование метаданных, возможна вставка из txt файла от автоматика.
• Экспорт метаданных в текстовый файл.
• Форматы отображения данных: промпт сплошной строкой; разделённые запятой токены в отдельных строках (есть сортировка по алфавиту); в виде плашек.
• Состоит из одного файла, не требует установки в систему.
• Есть тёмная и светлая темы.

Несколько способов открыть файл
• ПКМ → отправить → SD Prompt Reader (самый удобный).
• Перетащить файл изображения на иконку программы.
• ПКМ → открыть с помощью → выбрать SD Prompt Reader.

Добавление SD Prompt Reader в раздел "отправить"
1. Создайте ярлык программы.
2. Нажмите комбинацию Windows Key + R.
3. В появившемся окне введите shell:SendTo.
4. Перенесите ярлык в открытую таким способом папку.

____
У капибары лапкиподписаться
27❤‍🔥3
#заметки

Примерный порядок действий по созданию резервной копии и разворачиванию её на новом окружении

Потребовалось накатить чистую версию Automatic1111 WebUI и аккуратно перенести туда настройки из бывшей рабочей версии. На всякий случай записал последовательность всех действий, чтобы ничего не забыть и не потерять.
Эксперимента ради установил портативную сборку от Automatic1111 и удалил системный Python со всеми насыпанными пакетами.

Примечания
1. Способ усложнён ручным копированием файлов настроек расширений. Если вы уверены, что все расширения рабочие и не хотите заморачиваться — просто скопируйте папку extensions из старого окружения в новое.
2. На моей машине в чистой версии WebUI не сработал штатный механизм восстановлений настроек (Extensions → Backup/Restore → Restore Selected Config), поэтому пришлось устанавливать всё вручную. Завёл карточку на гитхабе. Или помогут решить проблему, или подскажут где я напапуасил.

Этап 1: Сохраняем в отдельную папку важные файлы

Желательно не просто копировать файлы, а сохранить структуру каталогов, чтобы при разворачивании резервной копии просто перенести все файлы разом.
Например, создаём папку extensions, в неё кладём пустую папку a1111-sd-webui-tagcomplete, в неё кладём пустую папку tags и уже в неё копируем все словари.

1. Файлы конфигурации
webui-user.bat (настройки запуска сервера)
config.json (настройки сервера)
ui-config.json (настройки интерфейса)
styles.csv (промпты ваших стилей)
style.css (внешний вид интерфейса, если вы устанавливали кастомный)
2. Список расширений
• В старой версии WebUI: Extensions → Backup/Restore → State to restore → both → (можно ввести имя резервной копии) → Save Current Config
Сохранённый файл лежит в webui\config_states, перемещаем его в аналогичную папку новой версии.
• Либо скопировать адреса расширений для ручной установки.
3. Файлы расширений
Все данные хранятся в папке \extensions
a1111-sd-webui-tagcomplete
a1111-sd-webui-tagcomplete\tags — все файлы
Config-Presets
Все файлы .txt и .json из папки расширения
sd-infinity-grid-generator-script
sd-infinity-grid-generator-script\assets — ваши шаблоны таблиц в формате yaml
--sd-webui-ar-plus
aspect_ratios.txt и resolutions.txt
sd-webui-controlnet
Папку annotator целиком, если не хотите заново качать все препроцессоры (5-7 гигабайт).
— stable-diffusion-webui-wildcards
Папку wildcards целиком.
4. Модели, LoRA, VAE, ControlNet, апскейлеры, гиперсети и прочее.
Папка models в корне окружения, необходимо скопировать целиком.
5. Скрипты
Папка scripts в корне окружения. Необходимо сохранить всё, что вы добавили сами. Например: alternate_sampler_noise_schedules или Revision by XpucT.
6. Эмбеддинги
Папка embeddings в корне окружения, необходимо скопировать целиком.
7. Последнее, но самое ценное
Папка outputs в корне окружения. Здесь лежат все ваши изображения и матрицы.


Этап 2: разворачиваем резервную копию в новом окружении

1. Запускаем сервер, проверяем что всё работает и картинки генерируются.
2. WebUI Settings → Apply Settings.
3. Устанавливаем все расширения
— Вручную: Extensions → Install from URL → URL for extension's git repository
— Штатным способом: Extensions → Backup/Restore → Restore Selected Config → OК
4. Выключаем сервер, копируем в новое окружение все папки и файлы, которые вы сохраняли на этапе 1.
5. Устанавливаем свежие библиотеки cuDNN, ускорит генерацию на 5-10% (только для NVidia 2xxx и выше)
• Регистрируемся на сайте разработчиков NVidia https://developer.nvidia.com/cudnn
• Переходим в раздел скачивания cuDNN, выбираем cuDNN for CUDA 11.x, скачиваем архив под свою платформу.
• Распаковываем архив, переносим с заменой содержимое папки bin в папку \venv\Lib\site-packages\torch\lib вашего окружения.
6. Запускаем сервер, проверяем что всё на месте и всё работает.

____
У капибары лапкиподписаться
❤‍🔥19
#мысливслух

Верстаю очередной ежемесячный дайджест и заметил забавную закономерность: каждый месяц пишу ~45 постов из которых ~24 будут актуальными ещё очень долго. Остальное или рисунки, или небольшие технические комментарии. Или посты ни о чём, как этот. Смогу ли удерживать такой темп и дальше — покажет время. Но пока получается. Мне это нравится. И вам, надеюсь, тоже.

Сейчас думаю о расширении блога и создании дополнительной ценности новым проектом. Пока рассматриваю два варианта, но ещё не определился с целями и форматом:
— Канал на ютубе: стримы с созданием стилей или просто рисованием.
— Небольшое закрытое сообщество.

Другие штуки, вроде консультирования компаний по внедрению Stable Diffusion в рабочие процессы или частные консультации, в формат блога совершенно не попадают. Поэтому останутся за кадром, хотя о чём-то в блоге рассказывать буду.

Чего не рассматриваю, так это бусти с материалами под пейволлом. Все обзоры, уроки, стили и промпты всегда будут в открытом доступе.

____
У капибары лапкиподписаться
61❤‍🔥15
#дайджест

Важные посты в блоге за июль 2023-го
Отправьте пост друзьям, рисующим на Stable Diffusion. Они многое теряют, если ещё не подписались на этот канал.

За месяц опубликован 43 поста из которых 25 попали в дайджест.

Расширения и инструменты
1. Aspect Ratio selector plus — расширение для изменения размеров картинки для рисования в один клик.
2. Config Presets — сохраняет множество параметров генерации и позволяет переключаться между ними в пару кликов.
3. Stable Diffusion Prompt Reader — программа для чтения, редактирования или удаления параметров генерации из изображений.
4. Infinity Grid Generator — улучшенная версия матрицы XYZ.
5. Style Editor — расширение для редактирования стилей не выходя из автоматика.
6. Better Styles — расширение для отображения превью стилей и хранения их в виде пресетов.
7. Agent Scheduler — расширение для планирования очереди генерации изображений по разным промптам.

Руководства по инструментам
1. Ленивый инпейнт анатомии с помощью hires.fix.
2. Включение дополнительных настроек hires.fix.
3. Легко и непринуждённо избавляемся от подписей и водяных знаков на изображении.

Заметки
1. Сравнение механизма выравнивания весов в ComfyUI и Automatic1111.
2. Группируем стили или отделяем их друг от друга.
3. Описание механизма добавления и удаления токенов в процессе генерации.
4. Создаём резервную копию настроек и данных Automatic1111 WebUI.
5. Удаление дубликатов строк и превращение списка токенов в разделённую запятыми строку.
6. Сравнение результатов hires.fix на разных семплерах.
7. Токены masterpiece и best quality не нужны.

Токены
1. 10 стилей от Vector Studio.
2. 371 стиль художников и режиссёров.

SDXL
1. Сравнение SDXL 0.9 и 1.0 + инструкция по установке ComfyUI для рисования на SDXL.
2. Мысли о SDXL после пары недель рисования.
3. Совместный пост о SDXL с автором канала, рисующем на Midjourney (Капибара, 85GB нейронок).
4. Пост про SDXL, из-за которого в этом месяце чуть меньше технических постов, чем бы хотелось.

Всякая всячина
1. Список изменений в автоматике 1.5.0.
2. Перемещение токенов по промпту с помощью клавиатуры.

___________


___________
У капибары лапкиподписаться
❤‍🔥329
#арт #токен

Следуя максиме «новые промпты пишет тот, у кого старые плохие» посмотрел что рисует SDXL с моим мрачноватым стилем Somewhat Gloomy (скачать стиль).

Впервые попробовал рисовать в этом стиле не пейзажи или окружение, а людей. И очень удивился: в зависимости от промпта атмосферность пропадает и появляется в хоррор. ComfyUI иначе относится к весам, и токен grim с силой 1.4 заставляет рисовать SDXL что-то совершенно жуткое. Токен dark magic как добавлял атмосферности, так и добавляет. С ним всё в порядке.

Необходима адаптация стиля под связку ComfyUI + SDXL для снижения уровня страстей-мордастей и возвращения атмосферности.
grim — желательно снизить вес до 1-1.1 или вообще убрать из промпта.
dark magic — стоит поиграть с весом в диапазоне от 1.15 до 1.25, результаты всегда интересные.
monochrome — на некоторых промптах стиль начал выдавать чёрно-белые изображения, monochrome в негативе восстанавливает цветность.

Промпты
1. Тропинка в лесу
2. Котофей
3. Леший
4. Вид на дворец вапмпиров
5. Вампир
6. Во дворце
7. Леший на троне
8. Ворон
9. Леший врос в землю


____
У капибары лапкиподписаться
23❤‍🔥5