Media is too big
VIEW IN TELEGRAM
Вдогонку к интриге из предыдущего поста.
Вот вам интересный прототип метаверсов будущего.
А теперь представьте, как может выглядеть железка от Midjourney...
Я уже писал про стриминг картинки из Stable Diffusion и сейчас стало выходить еще больше проектов в оптимизированной дистиллированной и всячески ускоренной Stable Diffusion
LCM-модели
SDXL Turbo
Stream Diffusion
AnimatLCM - просто космос.
Планирую пощупать их снова, ибо чую тренд на "быстрый отклик", когда прототипирование картинки художником идет почти в реалтайме.
То, что показывает Krea.ai или Vizcom - нет вот этой вот паузы, "нажать-подождать-посмотреть", а есть постоянный интерактив, набросок, отрисовка.
А вы пока поглядите на стриминг новой реальности.
Вот вам интересный прототип метаверсов будущего.
А теперь представьте, как может выглядеть железка от Midjourney...
Я уже писал про стриминг картинки из Stable Diffusion и сейчас стало выходить еще больше проектов в оптимизированной дистиллированной и всячески ускоренной Stable Diffusion
LCM-модели
SDXL Turbo
Stream Diffusion
AnimatLCM - просто космос.
Планирую пощупать их снова, ибо чую тренд на "быстрый отклик", когда прототипирование картинки художником идет почти в реалтайме.
То, что показывает Krea.ai или Vizcom - нет вот этой вот паузы, "нажать-подождать-посмотреть", а есть постоянный интерактив, набросок, отрисовка.
А вы пока поглядите на стриминг новой реальности.
🔥24👍5
У нас с вами новый челлендж.
Лента Мёбиуса.
Пытаемся сгенерить в чем угодно.
И тут мы обнаруживаем, что это тот случай, когда "руками" через промпт типа "кольцо из бумажной полоски, где один конец перевернули перед склеиванием" сделать это сложновато, скажем так.
И модель должна просто знать про старика Мёбиуса.
Но вопрос в том, как она его "видит".
Я попробовал везде, кроме Midjourney.
Как ни странно, ближе всего был Кандинский. DALL·E 3 и Stable Diffusion путались в бумажном серпантине.
Хотя chatGPT писал идеальные промпты для себя самого:
Illustrate a ring made from a strip of paper where one end has been twisted before being glued together. This should create a simple paper loop with a single 180-degree twist, characteristic of a Möbius strip. The paper's texture should be visible, emphasizing the craft and handmade quality of the loop. The illustration should focus on the twist point, showing how the paper seamlessly connects to form a continuous surface with a unique one-sided and one-edged property. Set against a soft, neutral background, the image should highlight the elegance and simplicity of this mathematical curiosity
Я присунул этот промпт в Фокус и в режиме Extreme Speed нагенерил странных оптических иллюзий, некоторые разламывали мозг, но все равно это не классические ленты Мебиуса.
В общем, ленты в студию! То есть в коменты.
Лента Мёбиуса.
Пытаемся сгенерить в чем угодно.
И тут мы обнаруживаем, что это тот случай, когда "руками" через промпт типа "кольцо из бумажной полоски, где один конец перевернули перед склеиванием" сделать это сложновато, скажем так.
И модель должна просто знать про старика Мёбиуса.
Но вопрос в том, как она его "видит".
Я попробовал везде, кроме Midjourney.
Как ни странно, ближе всего был Кандинский. DALL·E 3 и Stable Diffusion путались в бумажном серпантине.
Хотя chatGPT писал идеальные промпты для себя самого:
Illustrate a ring made from a strip of paper where one end has been twisted before being glued together. This should create a simple paper loop with a single 180-degree twist, characteristic of a Möbius strip. The paper's texture should be visible, emphasizing the craft and handmade quality of the loop. The illustration should focus on the twist point, showing how the paper seamlessly connects to form a continuous surface with a unique one-sided and one-edged property. Set against a soft, neutral background, the image should highlight the elegance and simplicity of this mathematical curiosity
Я присунул этот промпт в Фокус и в режиме Extreme Speed нагенерил странных оптических иллюзий, некоторые разламывали мозг, но все равно это не классические ленты Мебиуса.
В общем, ленты в студию! То есть в коменты.
🔥21👍6
This media is not supported in your browser
VIEW IN TELEGRAM
Houdini + Stable Diffusion
Принес годноты для CG-взрослых.
Симуляция в Гудини, нейрорендер в Stable Diffusion (Комфи+КонтролНет).
В Гудини генерятся частицы, маска и глубина, потом все это забирается в Stable Diffusion и кормится в ControlNet и Animatediff.
Вот такой нейрорендер нам нужен!
Более того, держите:
Подробный тутор, где все это расписано.
Канал этого удивительного чувака, который скрещивает 3Д и нейрорендеринг.
И клондайк из разных полезных постов для тех, кто в кино и VFX.
Enjoy CG-Bros.
P.S. Представьте, лукдев теперь это текстовый промпт и выбор чекпойнта (утрирую, конечно).
Принес годноты для CG-взрослых.
Симуляция в Гудини, нейрорендер в Stable Diffusion (Комфи+КонтролНет).
В Гудини генерятся частицы, маска и глубина, потом все это забирается в Stable Diffusion и кормится в ControlNet и Animatediff.
Вот такой нейрорендер нам нужен!
Более того, держите:
Подробный тутор, где все это расписано.
Канал этого удивительного чувака, который скрещивает 3Д и нейрорендеринг.
И клондайк из разных полезных постов для тех, кто в кино и VFX.
Enjoy CG-Bros.
P.S. Представьте, лукдев теперь это текстовый промпт и выбор чекпойнта (утрирую, конечно).
🔥54👍8
This media is not supported in your browser
VIEW IN TELEGRAM
AnimateLCM - это огонь.
На сайте проекта полно анимаций сделанных с помощью четырех шагов.
LCM или LCM-LoRA - это метод ускорения Stable Diffusion, который позволяет ускорить просчет как бы в 10 раз, сохраняя (как-то) качество изображения.
LCM-поддержка картинок есть уже и в Автоматике и в Фокусе(Extreme Speed).
И вот только что подвезли поддержку генерации анимации AnimateLCM в ComfyUI:
Забирайте все ссылки вот отсюда:
https://www.reddit.com/r/StableDiffusion/comments/1ajjx4t/animatelcm_support_for_comfyui_just_dropped/
Много примеров тут:
https://animatelcm.github.io/
Код тут:
https://github.com/G-U-N/AnimateLCM
Даже демо есть, можете сами попробовать:
https://huggingface.co/spaces/wangfuyun/AnimateLCM
Ну и поглядите в шапку, не пора ли приподналить за анимацию?
На сайте проекта полно анимаций сделанных с помощью четырех шагов.
LCM или LCM-LoRA - это метод ускорения Stable Diffusion, который позволяет ускорить просчет как бы в 10 раз, сохраняя (как-то) качество изображения.
LCM-поддержка картинок есть уже и в Автоматике и в Фокусе(Extreme Speed).
И вот только что подвезли поддержку генерации анимации AnimateLCM в ComfyUI:
Забирайте все ссылки вот отсюда:
https://www.reddit.com/r/StableDiffusion/comments/1ajjx4t/animatelcm_support_for_comfyui_just_dropped/
Много примеров тут:
https://animatelcm.github.io/
Код тут:
https://github.com/G-U-N/AnimateLCM
Даже демо есть, можете сами попробовать:
https://huggingface.co/spaces/wangfuyun/AnimateLCM
Ну и поглядите в шапку, не пора ли приподналить за анимацию?
🔥59👍7👎7
Media is too big
VIEW IN TELEGRAM
Дифтун
Так, выпить за аниматоров захотелось все больше.
Смотрите, это уже очень хороший тун-шейдер.
Потому что разработчики уперлись именно в toon-style.
Я в шоке.
Кому-то удалось поставить это хозяйство?
https://ecnu-cilab.github.io/DiffutoonProjectPage/
Так, выпить за аниматоров захотелось все больше.
Смотрите, это уже очень хороший тун-шейдер.
Потому что разработчики уперлись именно в toon-style.
Я в шоке.
Кому-то удалось поставить это хозяйство?
https://ecnu-cilab.github.io/DiffutoonProjectPage/
🔥48👍6👎2
Forwarded from РЕПТИЛОИДНАЯ (Denis Rossiev)
Живите в проклятом мире, который сами и создали
Про мир, который заполнят боты и фейки на основе ChatGPT и подобных языковых моделей я уже несколько раз писал.
Ну, дохихикались — теперь это реальность. Иногда случаются вот такие курьезы: первый бот сломался и не смог выдать «правильный» пост, т.к. ответ не прошел цензуру OpenAI. Другие боты не думая откомментили.
Вполне вероятно, что людей в интернете скоро не останется вовсе.
Про мир, который заполнят боты и фейки на основе ChatGPT и подобных языковых моделей я уже несколько раз писал.
Ну, дохихикались — теперь это реальность. Иногда случаются вот такие курьезы: первый бот сломался и не смог выдать «правильный» пост, т.к. ответ не прошел цензуру OpenAI. Другие боты не думая откомментили.
Вполне вероятно, что людей в интернете скоро не останется вовсе.
🔥118👍11
This media is not supported in your browser
VIEW IN TELEGRAM
По поводу ИИ-видео. И Stable Video Diffusion 1.1
Основная масса убойных примеров в таких видео - это движение камеры. Панорамирование, зумчик, минимальные углы облета и косоватый параллакс.
Ну и в самых выразительных примерах, как правило, решает сама картинка, а не анимация (которой по сути нет). Объекты в кадре сами по себе двигаются вяло. Собранные ролики обычно кишат движением камеры и слоу мошенами объектов.
Поэтому если уж вы собираетесь поразить всех своими ИИ-видео, упарывайтесь в картинку, из которой будете делать ИИ-видео. Именно она будет цеплять зрителя. В операторское мастерство и в камеру вы все равно не умеете, а если вдруг умеете, то обнаружите, что не можете сделать почти ничего, что хотите.
Вот вам пример: картинка генерится в Midjourney, причем сочная, с деталями и с объемом, который будет подчеркивать движение камеры (внутренность объекта), а потом кормится в Stable Video Diffusion 1.1
И основная фишка Stable Video Diffusion - это не motion contol, а хорошее качество картинки, которое можно выпячивать с помощью Midjourney
Основная масса убойных примеров в таких видео - это движение камеры. Панорамирование, зумчик, минимальные углы облета и косоватый параллакс.
Ну и в самых выразительных примерах, как правило, решает сама картинка, а не анимация (которой по сути нет). Объекты в кадре сами по себе двигаются вяло. Собранные ролики обычно кишат движением камеры и слоу мошенами объектов.
Поэтому если уж вы собираетесь поразить всех своими ИИ-видео, упарывайтесь в картинку, из которой будете делать ИИ-видео. Именно она будет цеплять зрителя. В операторское мастерство и в камеру вы все равно не умеете, а если вдруг умеете, то обнаружите, что не можете сделать почти ничего, что хотите.
Вот вам пример: картинка генерится в Midjourney, причем сочная, с деталями и с объемом, который будет подчеркивать движение камеры (внутренность объекта), а потом кормится в Stable Video Diffusion 1.1
И основная фишка Stable Video Diffusion - это не motion contol, а хорошее качество картинки, которое можно выпячивать с помощью Midjourney
👍36🔥18👎1
Сегодня все тестируем новую игрушку от Эппле. Редактирование фоток инструкциями, типа удали эти кожаные объекты за заднем плане и поставь туда роботов.
Guiding Instruction-based Image Editing
via Multimodal Large Language Models
Тема не новая, таких проектов уже много, но китайские товарищи просто взяли и пристегнули к распознаванию исходных картинок опен-сорсную мультимодальную LLaVA и потренировали ее помогать распознавать объекты на картинках.
Сам проект тут:
https://mllm-ie.github.io/
https://github.com/apple/ml-mgie
Но демо на Хаггинг фейсе лежит намертво, точнее надо ждать 5 минут, поэтому я вам принес ссылку на другой серверок, где это крутится очень быстро (3-5 сек у меня).
http://128.111.41.13:7122/
Ну и я конечно сразу засунул в соломорезку рельсу - дал ему свою фотку и попросил снять очки.
Ваши тесты присылайте в коменты: даете картинку и пишете, что надо с ней сделать. Словесный композ.
Кстати, справа внизу будет развернутая инструкция - это то, во что превращает ваши неуклюжие команды большая языковая модель. Тут принцип такой же как с генерацией картинок в chatGPT - ваш промпт превращается в развернутый промпт, которые модель использует для работы с картинкой
Guiding Instruction-based Image Editing
via Multimodal Large Language Models
Тема не новая, таких проектов уже много, но китайские товарищи просто взяли и пристегнули к распознаванию исходных картинок опен-сорсную мультимодальную LLaVA и потренировали ее помогать распознавать объекты на картинках.
Сам проект тут:
https://mllm-ie.github.io/
https://github.com/apple/ml-mgie
Но демо на Хаггинг фейсе лежит намертво, точнее надо ждать 5 минут, поэтому я вам принес ссылку на другой серверок, где это крутится очень быстро (3-5 сек у меня).
http://128.111.41.13:7122/
Ну и я конечно сразу засунул в соломорезку рельсу - дал ему свою фотку и попросил снять очки.
Ваши тесты присылайте в коменты: даете картинку и пишете, что надо с ней сделать. Словесный композ.
Кстати, справа внизу будет развернутая инструкция - это то, во что превращает ваши неуклюжие команды большая языковая модель. Тут принцип такой же как с генерацией картинок в chatGPT - ваш промпт превращается в развернутый промпт, которые модель использует для работы с картинкой
🔥16👍2👎2
This media is not supported in your browser
VIEW IN TELEGRAM
Кстати, вот вам идея для стартапа.
Тренируете нейросетку снимать лыжную маску с головый пользователя Apple Vision Pro.
Ну то есть когда вы надели на голову эту байду и смотрите на соседа, который тоже в метаверсике от эппле, то нейросетка вам дает картинку его реального лица без маски.
И все делают вид, что эта байда на голове никому не мешает. И вообще ее нет. А есть только spatial computing.
По идее задача несложная, по идее у Эппле уже есть Face-ID и трехмерный скан личика. Это прям помогатор при тренировке нейросеточки.
Только как быть всем остальным, которые не могут развидеть этих машущих руками зомбаков на улицах и у себя на кухне?
Тренируете нейросетку снимать лыжную маску с головый пользователя Apple Vision Pro.
Ну то есть когда вы надели на голову эту байду и смотрите на соседа, который тоже в метаверсике от эппле, то нейросетка вам дает картинку его реального лица без маски.
И все делают вид, что эта байда на голове никому не мешает. И вообще ее нет. А есть только spatial computing.
По идее задача несложная, по идее у Эппле уже есть Face-ID и трехмерный скан личика. Это прям помогатор при тренировке нейросеточки.
Только как быть всем остальным, которые не могут развидеть этих машущих руками зомбаков на улицах и у себя на кухне?
🔥35👍9
Экспертный совет для картинок. Stable Diffusion Mixture of Experts
Помните недавно вышел Микстраль 8x7B, построенный на концепции Mixture of Experts. Там внутри как бы несколько LLM(экспертов) и раутер, которые решает, кому лучше отдать решение задачи-запроса, пришедшего от пользователя. Обычно промпт отдается двум экспертам, которых выбрал раутер, и они уже хлещутся друг с другом о том, как лучше ответить на входящий промпт.
А теперь представьте такое же, только для картинок!
Ну и встречайте: SegMoE: Segmind Mixture Of Diffusion Experts
Если кратко.
Модели SegMoE имеют ту же архитектуру, что и Stable Diffusion. Как и в Mixtral 8x7b, модель SegMoE представляет собой несколько моделей в одной. Это происходит за счет замены некоторых слоев Feed-Forward на разреженный слой MoE. Слой MoE содержит сеть маршрутизаторов для выбора экспертов, которые обрабатывают токены наиболее эффективно. Вы можете использовать пакет segmoe для создания собственных моделей MoE!
https://huggingface.co/blog/segmoe#what-is-segmoe
Господа Гупта, Вишну и Прабхала сотворили настоящую камасутру для генерации картинок - смотрите прмеры на сайте. И давайте погадаем, сколько видеопамяти понадобится для такой оргии диффузионных агентов.
Ну круто же. Даете промпт, а там под ковром начинается возня, кто и как сделает именно вашу картинку. Можете устраивать баттлы из чекпойнтов. Можно подгружать туда свои чекпойнты.
Код? Апажалста:
https://github.com/segmind/segmoe
Не верите, что это работает? Глядите сюда:
https://www.youtube.com/watch?v=6Q4BJOcvwGE
Не терпится попробовать без питонинга? Уже есть имплементейшен для ComfyUI:
https://github.com/ZHO-ZHO-ZHO/ComfyUI-SegMoE
Помните недавно вышел Микстраль 8x7B, построенный на концепции Mixture of Experts. Там внутри как бы несколько LLM(экспертов) и раутер, которые решает, кому лучше отдать решение задачи-запроса, пришедшего от пользователя. Обычно промпт отдается двум экспертам, которых выбрал раутер, и они уже хлещутся друг с другом о том, как лучше ответить на входящий промпт.
А теперь представьте такое же, только для картинок!
Ну и встречайте: SegMoE: Segmind Mixture Of Diffusion Experts
Если кратко.
Модели SegMoE имеют ту же архитектуру, что и Stable Diffusion. Как и в Mixtral 8x7b, модель SegMoE представляет собой несколько моделей в одной. Это происходит за счет замены некоторых слоев Feed-Forward на разреженный слой MoE. Слой MoE содержит сеть маршрутизаторов для выбора экспертов, которые обрабатывают токены наиболее эффективно. Вы можете использовать пакет segmoe для создания собственных моделей MoE!
https://huggingface.co/blog/segmoe#what-is-segmoe
Господа Гупта, Вишну и Прабхала сотворили настоящую камасутру для генерации картинок - смотрите прмеры на сайте. И давайте погадаем, сколько видеопамяти понадобится для такой оргии диффузионных агентов.
Ну круто же. Даете промпт, а там под ковром начинается возня, кто и как сделает именно вашу картинку. Можете устраивать баттлы из чекпойнтов. Можно подгружать туда свои чекпойнты.
Код? Апажалста:
https://github.com/segmind/segmoe
Не верите, что это работает? Глядите сюда:
https://www.youtube.com/watch?v=6Q4BJOcvwGE
Не терпится попробовать без питонинга? Уже есть имплементейшен для ComfyUI:
https://github.com/ZHO-ZHO-ZHO/ComfyUI-SegMoE
🔥20👍4