#мысливслух #SDXL #арт
Полноценная тренировка XL модели, а не мёрджи с другими моделями или вшивание лор, как делают некоторые авторы (есть и те, кто гордо называет свою поделку Checkpoint Trained и забывает скрыть метаданные о всех мёрджах) займёт не одну неделю машинного времени на условной 4090.
Поэтому странно, что сейчас на civitai столько XL моделей с ярлыком Checkpoint Trained, а новые версии появляются со скоростью горячих пирожков. Провести полноценную тренировку за столь короткий срок не представляется возможным. Но кого это смущает?
Почти все авторы стараются добавить больше весов, отвечающих за "фотографичность" людей и напрочь забывают (или забивают?) про природу и окружение.
Наверняка забивают и на всё остальное, но сегодня покажу только природу (ссылка на тяжёлый грид из сообщения ниже).
Два месяца назад я сомневался в будущем XL моделей только из-за жутчайших бед с анатомией. Может быть это и осилят поправить. Уверенности нет.
Но как будут бороться со скудностью исходного датасета XL 1.0 (по некоторым оценкам там чуть больше 1М изображений) и смогут ли корректно добавить недостающее не поломав существующие веса мы вряд ли узнаем.
Отсутствие публичного алгоритма тренировки рефайнеров — второй фатальный недостаток XL моделей. Технологически XL спроектирована как два прохода по изображению: одна модель упорядочивает шум, вторая повышает качество. Без дообученных рефайнеров ни одна XL модель сообщества не выдаст хорошие результаты. Просто потому что не сможет. Можно после базовой XL дважды пройтись по изображению 1.5 для вытягивания и улучшения деталей. Но зачем тогда нужна XL?!
Сомнений и вопросов стало больше, ответов и хороших XL моделей больше не стало.
В сообщении ниже грид на 700+ изображений, сгенерированных на популярных XL моделях. Не смотрите его если не хотите испортить себе вечер. Лучшие кадры из грида уже в этом посте.
____
У капибары лапки • подписаться
Полноценная тренировка XL модели, а не мёрджи с другими моделями или вшивание лор, как делают некоторые авторы (есть и те, кто гордо называет свою поделку Checkpoint Trained и забывает скрыть метаданные о всех мёрджах) займёт не одну неделю машинного времени на условной 4090.
Поэтому странно, что сейчас на civitai столько XL моделей с ярлыком Checkpoint Trained, а новые версии появляются со скоростью горячих пирожков. Провести полноценную тренировку за столь короткий срок не представляется возможным. Но кого это смущает?
Почти все авторы стараются добавить больше весов, отвечающих за "фотографичность" людей и напрочь забывают (или забивают?) про природу и окружение.
Наверняка забивают и на всё остальное, но сегодня покажу только природу (ссылка на тяжёлый грид из сообщения ниже).
Два месяца назад я сомневался в будущем XL моделей только из-за жутчайших бед с анатомией. Может быть это и осилят поправить. Уверенности нет.
Но как будут бороться со скудностью исходного датасета XL 1.0 (по некоторым оценкам там чуть больше 1М изображений) и смогут ли корректно добавить недостающее не поломав существующие веса мы вряд ли узнаем.
Отсутствие публичного алгоритма тренировки рефайнеров — второй фатальный недостаток XL моделей. Технологически XL спроектирована как два прохода по изображению: одна модель упорядочивает шум, вторая повышает качество. Без дообученных рефайнеров ни одна XL модель сообщества не выдаст хорошие результаты. Просто потому что не сможет. Можно после базовой XL дважды пройтись по изображению 1.5 для вытягивания и улучшения деталей. Но зачем тогда нужна XL?!
Сомнений и вопросов стало больше, ответов и хороших XL моделей больше не стало.
В сообщении ниже грид на 700+ изображений, сгенерированных на популярных XL моделях. Не смотрите его если не хотите испортить себе вечер. Лучшие кадры из грида уже в этом посте.
____
У капибары лапки • подписаться
❤22❤🔥3
00112-34710x43508_SDXL_not_hehe.png
1.3 GB
Иллюстрация к предыдущему посту, на полноценное исследование этот скромный тест не претендует.
Размер файла не шутка. Это действительно картинка в формате png, грид с результатами генерации на самых популярных здесь и сейчас XL моделях.
По просьбе читателей конвертировал пнг в джипег, файл на 330 мегабайт в комментариях.
Грид сгенерирован на простых настройках:
• 1024х1024, Steps: 50, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 2119011767,
• 3 коротких промпта: landscape, nature, forest
• 11 моделей из топа цивиты (один клепатель мерджей попал в список трижды просто потому, что клепает быстрее, чем я нашёл время на запуск генерации грида).
• 3 негативных промпта с разным смыслом ("нарисуй что-то фотографичное", "нарисуй что-то удачное", "рисуй изо всех сил").
Размер файла не шутка. Это действительно картинка в формате png, грид с результатами генерации на самых популярных здесь и сейчас XL моделях.
По просьбе читателей конвертировал пнг в джипег, файл на 330 мегабайт в комментариях.
Грид сгенерирован на простых настройках:
• 1024х1024, Steps: 50, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 2119011767,
• 3 коротких промпта: landscape, nature, forest
• 11 моделей из топа цивиты (один клепатель мерджей попал в список трижды просто потому, что клепает быстрее, чем я нашёл время на запуск генерации грида).
• 3 негативных промпта с разным смыслом ("нарисуй что-то фотографичное", "нарисуй что-то удачное", "рисуй изо всех сил").
Steps: 50, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 2119011767, Size: 1024x1024, Model hash: df64bcef34, Model: copaxTimelessxlSDXL1_v5, Script: X/Y/Z plot, X Type: Prompt S/R, X Values: "landscape, nature, forest", Y Type: Checkpoint name, Y Values: "SDXL\\copaxTimelessxlSDXL1_v5.safetensors [df64bcef34],SDXL\\crystalClearXL_ccxl.safetensors,SDXL\\juggernautXL_version2.safetensors,SDXL\\juggernautXL_version3.safetensors [c4b501713f],SDXL\\juggernautXL_version4.safetensors,SDXL\\leosamsHelloworldSDXLModel_reality30.safetensors,SDXL\\nightvisionXLPhotorealisticPortrait_beta0702Bakedvae.safetensors,SDXL\\protovisionXLHighFidelity3D_beta0520Bakedvae.safetensors,SDXL\\realvisxlV10_v10VAE.safetensors,SDXL\\sdxlUnstableDiffusers_v6StabilityEater.safetensors,Y.SDXL\\dreamshaperXL10_alpha2Xl10.safetensors [0f1b80cfe8],Y.SDXL\\dynavisionXLAllInOneStylized_beta0371Bakedvae.safetensors,Y.SDXL\\rundiffusionXL_beta.safetensors", Z Type: Prompt S/R, Z Values: "\"cartoon, painting, illustration, (worst quality, low quality, normal quality:2)\",\"(deformed, distorted, disfigured:1.3), poorly drawn, blurry, dof, depth of field, bokeh\", ", Version: v1.6.0❤🔥12❤9
#Midjourney
Rank Pairs
https://www.midjourney.com/app/rank-pairs/
"Тиндер" сгенерированных на Midjourney изображениях. Доступен (увы) только при активной подписке любого уровня.
Способ найти что-то новое, ещё не попавшее на вкладку Explore (или Community Showcase, если у вас нет активной подписки).
Источник вдохновения, новых токенов или конструкций и пополнения избранного.
— Удобнее ли это главной civitai.com?
— Несомненно.
____
У капибары лапки • подписаться
Rank Pairs
https://www.midjourney.com/app/rank-pairs/
"Тиндер" сгенерированных на Midjourney изображениях. Доступен (увы) только при активной подписке любого уровня.
Способ найти что-то новое, ещё не попавшее на вкладку Explore (или Community Showcase, если у вас нет активной подписки).
Источник вдохновения, новых токенов или конструкций и пополнения избранного.
— Удобнее ли это главной civitai.com?
— Несомненно.
____
У капибары лапки • подписаться
❤12❤🔥5
Куда вы попали и что здесь происходит?
Меня зовут Глеб. За плечами более 10 лет опыта в гейм-дизайне и управлении проектами и полгода в работе с нейросетями для генерации изображений. Занимаюсь интеграцией Stable Diffusion в рабочие процессы компаний, обучаю сотрудников, настраиваю окружение и стили сервисам генерации изображений.
Пишу в блог технические заметки о работе со Stable Diffusion на Automatic1111 WebUI и ComfyUI. Чем-то похоже на рубрику Хачатура "Вопросы, ответы, лайфхаки, советы", но в текстовом формате.
Оглавления в блоге нет, но все посты размечены тэгами, по которым можно быстро найти материалы схожей тематики. Всегда актуальный список тэгов.
Раз в месяц собираю лучшие посты блога в дайджест (май, июнь, июль, август).
Хороший способ прочитать посты, которые вы могли пропустить. Мне будет очень приятно, если вы прочитаете их все.
Основные темы:
• Расширения Automatic1111 WebUI, которыми пользуюсь сам (пример, второй, третий) или которые рекомендую (пример, второй, третий) своим читателям.
Недавно начал писать про ComfyUI (воркфлоу, ноды, расширения).
• Инструменты Stable Diffusion, вроде техник inpaint или методов апскейла с повышением детализации изображения.
• Редкие токены (освещение, позы, чит-коды), которые улучшают качество изображения.
• Работаю над собственными стилями и выкладываю их в открытый доступ (основной стиль, дополнение под XL модели).
• Обзоры интересных моделей, на которых рисую сам и которые использую в работе (первая, вторая, третья).
• Иногда публикую свои рисунки. Отнеситесь к этому с пониманием.
Лучшие (как мне кажется) работы публикую на ArtStation всё вперемешку, но с промптами, на Civitai.
Меня зовут Глеб. За плечами более 10 лет опыта в гейм-дизайне и управлении проектами и полгода в работе с нейросетями для генерации изображений. Занимаюсь интеграцией Stable Diffusion в рабочие процессы компаний, обучаю сотрудников, настраиваю окружение и стили сервисам генерации изображений.
Пишу в блог технические заметки о работе со Stable Diffusion на Automatic1111 WebUI и ComfyUI. Чем-то похоже на рубрику Хачатура "Вопросы, ответы, лайфхаки, советы", но в текстовом формате.
Оглавления в блоге нет, но все посты размечены тэгами, по которым можно быстро найти материалы схожей тематики. Всегда актуальный список тэгов.
Раз в месяц собираю лучшие посты блога в дайджест (май, июнь, июль, август).
Хороший способ прочитать посты, которые вы могли пропустить. Мне будет очень приятно, если вы прочитаете их все.
Основные темы:
• Расширения Automatic1111 WebUI, которыми пользуюсь сам (пример, второй, третий) или которые рекомендую (пример, второй, третий) своим читателям.
Недавно начал писать про ComfyUI (воркфлоу, ноды, расширения).
• Инструменты Stable Diffusion, вроде техник inpaint или методов апскейла с повышением детализации изображения.
• Редкие токены (освещение, позы, чит-коды), которые улучшают качество изображения.
• Работаю над собственными стилями и выкладываю их в открытый доступ (основной стиль, дополнение под XL модели).
• Обзоры интересных моделей, на которых рисую сам и которые использую в работе (первая, вторая, третья).
• Иногда публикую свои рисунки. Отнеситесь к этому с пониманием.
Лучшие (как мне кажется) работы публикую на ArtStation всё вперемешку, но с промптами, на Civitai.
❤🔥77❤27
#заметки
Как добавить длинный промпт в матрицу XYZ?
Иногда необходимо с помощью функции Prompt S/R заменить в промте не один токен, а разделённую запятыми группу токенов. По умолчанию матрица XYZ не понимает что происходит и обрабатывает такие данные некорректно.
Чтобы исправить ситуации достаточно заключить каждый промпт в кавычки-лапки (shift+2 в русской раскладке) и разделить промпты запятыми. Между лапками и запятыми не должно быть пробелов.
В блоге нет тэга "взлом жизни", все полезные трюки отмечены хэштэгом #заметки .
____
У капибары лапки • подписаться
Как добавить длинный промпт в матрицу XYZ?
Иногда необходимо с помощью функции Prompt S/R заменить в промте не один токен, а разделённую запятыми группу токенов. По умолчанию матрица XYZ не понимает что происходит и обрабатывает такие данные некорректно.
Чтобы исправить ситуации достаточно заключить каждый промпт в кавычки-лапки (shift+2 в русской раскладке) и разделить промпты запятыми. Между лапками и запятыми не должно быть пробелов.
"hot dog on the table, bar","funny puppy in the park","cute cat, bowl of milk"В расширении для рисования многомерных матриц Infinity Grid Generator (обзор) используется более простой синтаксис. Промпты разделяются двумя вертикальными линиями и пробелами до и после
|| . hot dog on the table, bar || funny puppy in the park || cute cat, bowl of milk
____
У капибары лапки • подписаться
❤29❤🔥6
#арт #Midjourney
По работе тестирую как Midjourney тарифицирует базовую генерацию.
Соотношение сторон картинки почти не влияет на стоимость в машинных часах. Размеры серии из четырёх изображений подгоняются под 4 мегапикселя +10-20% в зависимости от пропорций кадра. Затраченное на генерацию время колеблется от 30 до 35 секунд.
При удлинении промпта до 130-150 токенов (по оценке автоматика) скорость генерации незначительно падает, до 36-39 секунд. Интересная у них там под капотом магия.
Мне нравится что генерирует Midjourney по старым промптам. Каждый раз жму
____
У капибары лапки • подписаться
По работе тестирую как Midjourney тарифицирует базовую генерацию.
Соотношение сторон картинки почти не влияет на стоимость в машинных часах. Размеры серии из четырёх изображений подгоняются под 4 мегапикселя +10-20% в зависимости от пропорций кадра. Затраченное на генерацию время колеблется от 30 до 35 секунд.
При удлинении промпта до 130-150 токенов (по оценке автоматика) скорость генерации незначительно падает, до 36-39 секунд. Интересная у них там под капотом магия.
Мне нравится что генерирует Midjourney по старым промптам. Каждый раз жму
imagine с огромным удовольствием, которое омрачает мысль о необходимости разобрать папку output из автоматика (более 9.000 кадров) и комфи (700 кадров), и не заваливать папку ouput Midjourney.____
У капибары лапки • подписаться
❤24❤🔥5
#ComfyUI
My dudes, скачивайте обновлённый воркфлоу по генерации на XL моделях с двойным проходом апскейлера и раздельным выбором модели для генерации и апскейла.
Добавил ControlNet Tile для апскейла и заменил DPM++ 2M Karras на DPM++ 3M SDE Exponential в базовых семплерах генерации.
Скачать:
https://civitai.com/models/138176/capybaras-sdxl-workflow-v14
Буду признателен за отзывы, сообщения об ошибках и пожелания по улучшению и доработке. И вдвойне признателен за отзывы и оценки на civitai.
____
У капибары лапки • подписаться
My dudes, скачивайте обновлённый воркфлоу по генерации на XL моделях с двойным проходом апскейлера и раздельным выбором модели для генерации и апскейла.
Добавил ControlNet Tile для апскейла и заменил DPM++ 2M Karras на DPM++ 3M SDE Exponential в базовых семплерах генерации.
Скачать:
https://civitai.com/models/138176/capybaras-sdxl-workflow-v14
Буду признателен за отзывы, сообщения об ошибках и пожелания по улучшению и доработке. И вдвойне признателен за отзывы и оценки на civitai.
____
У капибары лапки • подписаться
❤25❤🔥7
This media is not supported in your browser
VIEW IN TELEGRAM
#расширение
Infinite Image Browsing
https://github.com/zanllp/sd-webui-infinite-image-browsing
Мощный и невероятно быстрый менеджер изображений. Лучший из всего, что пока довелось опробовать.
Прикрепленные к посту видео от автора расширение даёт исчерпывающее представление о возможностях инструмента.
Три варианта запуска
— Расширение внутри Automatic1111 WebUI.
— Браузерное приложение на питоне (инструкция по запуску).
— Приложение для Windows и пакет Debian (антивирусам кажется, что там что-то есть, запускайте на свой страх и риск).
Мощная система поиска по изображениям, мета-данным и лежащим рядом текстовым файлам
— Для работы расширения необходимо создать кэш.
— По умолчанию подключается к папкам автоматика. Прочие каталоги добавляются вручную. Например, папка комфи или ваш архив изображений
— Image Search: фильтры поиска (можно комбинировать): избранное, модель, лора, токены в промпте, размер картинки, апскейлер и множитель апскейла, семплер. Не умеет считывать медаданные от комфи.
— Fuzzy search: поиск по имени файла.
— Возможность писать запросы с синтаксисом “как в гугле”.
Просмотр изображений
— Отображение детальной информации по параметрам генерации.
— Отправка изображений в т2и, и2и, контролнет или сторонние расширения.
— Инструмент для сравнения двух изображений Image Comparison.
Прочие возможности
— Горячие клавиши для добавления в избранное, удаления и скачивания. Поддержка навигации с клавиатуры.
— Пакетное скачивание изображений для работающих с удалённым сервером.
— Интерфейс для доступа к файловой системе с возможностью перемещать файлы.
Знаком с расширением с версии автоматика 1.3.0, но только сейчас опробовал все возможности и снёс остальные менеджеры.
Дайте знать если вам интересно почитать про альтернативы. Мне есть что рассказать.
____
У капибары лапки • подписаться
Infinite Image Browsing
https://github.com/zanllp/sd-webui-infinite-image-browsing
Мощный и невероятно быстрый менеджер изображений. Лучший из всего, что пока довелось опробовать.
Прикрепленные к посту видео от автора расширение даёт исчерпывающее представление о возможностях инструмента.
Три варианта запуска
— Расширение внутри Automatic1111 WebUI.
— Браузерное приложение на питоне (инструкция по запуску).
— Приложение для Windows и пакет Debian (антивирусам кажется, что там что-то есть, запускайте на свой страх и риск).
Мощная система поиска по изображениям, мета-данным и лежащим рядом текстовым файлам
— Для работы расширения необходимо создать кэш.
— По умолчанию подключается к папкам автоматика. Прочие каталоги добавляются вручную. Например, папка комфи или ваш архив изображений
— Image Search: фильтры поиска (можно комбинировать): избранное, модель, лора, токены в промпте, размер картинки, апскейлер и множитель апскейла, семплер. Не умеет считывать медаданные от комфи.
— Fuzzy search: поиск по имени файла.
— Возможность писать запросы с синтаксисом “как в гугле”.
Просмотр изображений
— Отображение детальной информации по параметрам генерации.
— Отправка изображений в т2и, и2и, контролнет или сторонние расширения.
— Инструмент для сравнения двух изображений Image Comparison.
Прочие возможности
— Горячие клавиши для добавления в избранное, удаления и скачивания. Поддержка навигации с клавиатуры.
— Пакетное скачивание изображений для работающих с удалённым сервером.
— Интерфейс для доступа к файловой системе с возможностью перемещать файлы.
Знаком с расширением с версии автоматика 1.3.0, но только сейчас опробовал все возможности и снёс остальные менеджеры.
Дайте знать если вам интересно почитать про альтернативы. Мне есть что рассказать.
____
У капибары лапки • подписаться
❤28❤🔥11