У нас с вами новый челлендж.
Лента Мёбиуса.
Пытаемся сгенерить в чем угодно.
И тут мы обнаруживаем, что это тот случай, когда "руками" через промпт типа "кольцо из бумажной полоски, где один конец перевернули перед склеиванием" сделать это сложновато, скажем так.
И модель должна просто знать про старика Мёбиуса.
Но вопрос в том, как она его "видит".
Я попробовал везде, кроме Midjourney.
Как ни странно, ближе всего был Кандинский. DALL·E 3 и Stable Diffusion путались в бумажном серпантине.
Хотя chatGPT писал идеальные промпты для себя самого:
Illustrate a ring made from a strip of paper where one end has been twisted before being glued together. This should create a simple paper loop with a single 180-degree twist, characteristic of a Möbius strip. The paper's texture should be visible, emphasizing the craft and handmade quality of the loop. The illustration should focus on the twist point, showing how the paper seamlessly connects to form a continuous surface with a unique one-sided and one-edged property. Set against a soft, neutral background, the image should highlight the elegance and simplicity of this mathematical curiosity
Я присунул этот промпт в Фокус и в режиме Extreme Speed нагенерил странных оптических иллюзий, некоторые разламывали мозг, но все равно это не классические ленты Мебиуса.
В общем, ленты в студию! То есть в коменты.
Лента Мёбиуса.
Пытаемся сгенерить в чем угодно.
И тут мы обнаруживаем, что это тот случай, когда "руками" через промпт типа "кольцо из бумажной полоски, где один конец перевернули перед склеиванием" сделать это сложновато, скажем так.
И модель должна просто знать про старика Мёбиуса.
Но вопрос в том, как она его "видит".
Я попробовал везде, кроме Midjourney.
Как ни странно, ближе всего был Кандинский. DALL·E 3 и Stable Diffusion путались в бумажном серпантине.
Хотя chatGPT писал идеальные промпты для себя самого:
Illustrate a ring made from a strip of paper where one end has been twisted before being glued together. This should create a simple paper loop with a single 180-degree twist, characteristic of a Möbius strip. The paper's texture should be visible, emphasizing the craft and handmade quality of the loop. The illustration should focus on the twist point, showing how the paper seamlessly connects to form a continuous surface with a unique one-sided and one-edged property. Set against a soft, neutral background, the image should highlight the elegance and simplicity of this mathematical curiosity
Я присунул этот промпт в Фокус и в режиме Extreme Speed нагенерил странных оптических иллюзий, некоторые разламывали мозг, но все равно это не классические ленты Мебиуса.
В общем, ленты в студию! То есть в коменты.
🔥21👍6
This media is not supported in your browser
VIEW IN TELEGRAM
Houdini + Stable Diffusion
Принес годноты для CG-взрослых.
Симуляция в Гудини, нейрорендер в Stable Diffusion (Комфи+КонтролНет).
В Гудини генерятся частицы, маска и глубина, потом все это забирается в Stable Diffusion и кормится в ControlNet и Animatediff.
Вот такой нейрорендер нам нужен!
Более того, держите:
Подробный тутор, где все это расписано.
Канал этого удивительного чувака, который скрещивает 3Д и нейрорендеринг.
И клондайк из разных полезных постов для тех, кто в кино и VFX.
Enjoy CG-Bros.
P.S. Представьте, лукдев теперь это текстовый промпт и выбор чекпойнта (утрирую, конечно).
Принес годноты для CG-взрослых.
Симуляция в Гудини, нейрорендер в Stable Diffusion (Комфи+КонтролНет).
В Гудини генерятся частицы, маска и глубина, потом все это забирается в Stable Diffusion и кормится в ControlNet и Animatediff.
Вот такой нейрорендер нам нужен!
Более того, держите:
Подробный тутор, где все это расписано.
Канал этого удивительного чувака, который скрещивает 3Д и нейрорендеринг.
И клондайк из разных полезных постов для тех, кто в кино и VFX.
Enjoy CG-Bros.
P.S. Представьте, лукдев теперь это текстовый промпт и выбор чекпойнта (утрирую, конечно).
🔥54👍8
This media is not supported in your browser
VIEW IN TELEGRAM
AnimateLCM - это огонь.
На сайте проекта полно анимаций сделанных с помощью четырех шагов.
LCM или LCM-LoRA - это метод ускорения Stable Diffusion, который позволяет ускорить просчет как бы в 10 раз, сохраняя (как-то) качество изображения.
LCM-поддержка картинок есть уже и в Автоматике и в Фокусе(Extreme Speed).
И вот только что подвезли поддержку генерации анимации AnimateLCM в ComfyUI:
Забирайте все ссылки вот отсюда:
https://www.reddit.com/r/StableDiffusion/comments/1ajjx4t/animatelcm_support_for_comfyui_just_dropped/
Много примеров тут:
https://animatelcm.github.io/
Код тут:
https://github.com/G-U-N/AnimateLCM
Даже демо есть, можете сами попробовать:
https://huggingface.co/spaces/wangfuyun/AnimateLCM
Ну и поглядите в шапку, не пора ли приподналить за анимацию?
На сайте проекта полно анимаций сделанных с помощью четырех шагов.
LCM или LCM-LoRA - это метод ускорения Stable Diffusion, который позволяет ускорить просчет как бы в 10 раз, сохраняя (как-то) качество изображения.
LCM-поддержка картинок есть уже и в Автоматике и в Фокусе(Extreme Speed).
И вот только что подвезли поддержку генерации анимации AnimateLCM в ComfyUI:
Забирайте все ссылки вот отсюда:
https://www.reddit.com/r/StableDiffusion/comments/1ajjx4t/animatelcm_support_for_comfyui_just_dropped/
Много примеров тут:
https://animatelcm.github.io/
Код тут:
https://github.com/G-U-N/AnimateLCM
Даже демо есть, можете сами попробовать:
https://huggingface.co/spaces/wangfuyun/AnimateLCM
Ну и поглядите в шапку, не пора ли приподналить за анимацию?
🔥59👍7👎7
Media is too big
VIEW IN TELEGRAM
Дифтун
Так, выпить за аниматоров захотелось все больше.
Смотрите, это уже очень хороший тун-шейдер.
Потому что разработчики уперлись именно в toon-style.
Я в шоке.
Кому-то удалось поставить это хозяйство?
https://ecnu-cilab.github.io/DiffutoonProjectPage/
Так, выпить за аниматоров захотелось все больше.
Смотрите, это уже очень хороший тун-шейдер.
Потому что разработчики уперлись именно в toon-style.
Я в шоке.
Кому-то удалось поставить это хозяйство?
https://ecnu-cilab.github.io/DiffutoonProjectPage/
🔥48👍6👎2
Forwarded from РЕПТИЛОИДНАЯ (Denis Rossiev)
Живите в проклятом мире, который сами и создали
Про мир, который заполнят боты и фейки на основе ChatGPT и подобных языковых моделей я уже несколько раз писал.
Ну, дохихикались — теперь это реальность. Иногда случаются вот такие курьезы: первый бот сломался и не смог выдать «правильный» пост, т.к. ответ не прошел цензуру OpenAI. Другие боты не думая откомментили.
Вполне вероятно, что людей в интернете скоро не останется вовсе.
Про мир, который заполнят боты и фейки на основе ChatGPT и подобных языковых моделей я уже несколько раз писал.
Ну, дохихикались — теперь это реальность. Иногда случаются вот такие курьезы: первый бот сломался и не смог выдать «правильный» пост, т.к. ответ не прошел цензуру OpenAI. Другие боты не думая откомментили.
Вполне вероятно, что людей в интернете скоро не останется вовсе.
🔥118👍11
This media is not supported in your browser
VIEW IN TELEGRAM
По поводу ИИ-видео. И Stable Video Diffusion 1.1
Основная масса убойных примеров в таких видео - это движение камеры. Панорамирование, зумчик, минимальные углы облета и косоватый параллакс.
Ну и в самых выразительных примерах, как правило, решает сама картинка, а не анимация (которой по сути нет). Объекты в кадре сами по себе двигаются вяло. Собранные ролики обычно кишат движением камеры и слоу мошенами объектов.
Поэтому если уж вы собираетесь поразить всех своими ИИ-видео, упарывайтесь в картинку, из которой будете делать ИИ-видео. Именно она будет цеплять зрителя. В операторское мастерство и в камеру вы все равно не умеете, а если вдруг умеете, то обнаружите, что не можете сделать почти ничего, что хотите.
Вот вам пример: картинка генерится в Midjourney, причем сочная, с деталями и с объемом, который будет подчеркивать движение камеры (внутренность объекта), а потом кормится в Stable Video Diffusion 1.1
И основная фишка Stable Video Diffusion - это не motion contol, а хорошее качество картинки, которое можно выпячивать с помощью Midjourney
Основная масса убойных примеров в таких видео - это движение камеры. Панорамирование, зумчик, минимальные углы облета и косоватый параллакс.
Ну и в самых выразительных примерах, как правило, решает сама картинка, а не анимация (которой по сути нет). Объекты в кадре сами по себе двигаются вяло. Собранные ролики обычно кишат движением камеры и слоу мошенами объектов.
Поэтому если уж вы собираетесь поразить всех своими ИИ-видео, упарывайтесь в картинку, из которой будете делать ИИ-видео. Именно она будет цеплять зрителя. В операторское мастерство и в камеру вы все равно не умеете, а если вдруг умеете, то обнаружите, что не можете сделать почти ничего, что хотите.
Вот вам пример: картинка генерится в Midjourney, причем сочная, с деталями и с объемом, который будет подчеркивать движение камеры (внутренность объекта), а потом кормится в Stable Video Diffusion 1.1
И основная фишка Stable Video Diffusion - это не motion contol, а хорошее качество картинки, которое можно выпячивать с помощью Midjourney
👍36🔥18👎1
Сегодня все тестируем новую игрушку от Эппле. Редактирование фоток инструкциями, типа удали эти кожаные объекты за заднем плане и поставь туда роботов.
Guiding Instruction-based Image Editing
via Multimodal Large Language Models
Тема не новая, таких проектов уже много, но китайские товарищи просто взяли и пристегнули к распознаванию исходных картинок опен-сорсную мультимодальную LLaVA и потренировали ее помогать распознавать объекты на картинках.
Сам проект тут:
https://mllm-ie.github.io/
https://github.com/apple/ml-mgie
Но демо на Хаггинг фейсе лежит намертво, точнее надо ждать 5 минут, поэтому я вам принес ссылку на другой серверок, где это крутится очень быстро (3-5 сек у меня).
http://128.111.41.13:7122/
Ну и я конечно сразу засунул в соломорезку рельсу - дал ему свою фотку и попросил снять очки.
Ваши тесты присылайте в коменты: даете картинку и пишете, что надо с ней сделать. Словесный композ.
Кстати, справа внизу будет развернутая инструкция - это то, во что превращает ваши неуклюжие команды большая языковая модель. Тут принцип такой же как с генерацией картинок в chatGPT - ваш промпт превращается в развернутый промпт, которые модель использует для работы с картинкой
Guiding Instruction-based Image Editing
via Multimodal Large Language Models
Тема не новая, таких проектов уже много, но китайские товарищи просто взяли и пристегнули к распознаванию исходных картинок опен-сорсную мультимодальную LLaVA и потренировали ее помогать распознавать объекты на картинках.
Сам проект тут:
https://mllm-ie.github.io/
https://github.com/apple/ml-mgie
Но демо на Хаггинг фейсе лежит намертво, точнее надо ждать 5 минут, поэтому я вам принес ссылку на другой серверок, где это крутится очень быстро (3-5 сек у меня).
http://128.111.41.13:7122/
Ну и я конечно сразу засунул в соломорезку рельсу - дал ему свою фотку и попросил снять очки.
Ваши тесты присылайте в коменты: даете картинку и пишете, что надо с ней сделать. Словесный композ.
Кстати, справа внизу будет развернутая инструкция - это то, во что превращает ваши неуклюжие команды большая языковая модель. Тут принцип такой же как с генерацией картинок в chatGPT - ваш промпт превращается в развернутый промпт, которые модель использует для работы с картинкой
🔥16👍2👎2
This media is not supported in your browser
VIEW IN TELEGRAM
Кстати, вот вам идея для стартапа.
Тренируете нейросетку снимать лыжную маску с головый пользователя Apple Vision Pro.
Ну то есть когда вы надели на голову эту байду и смотрите на соседа, который тоже в метаверсике от эппле, то нейросетка вам дает картинку его реального лица без маски.
И все делают вид, что эта байда на голове никому не мешает. И вообще ее нет. А есть только spatial computing.
По идее задача несложная, по идее у Эппле уже есть Face-ID и трехмерный скан личика. Это прям помогатор при тренировке нейросеточки.
Только как быть всем остальным, которые не могут развидеть этих машущих руками зомбаков на улицах и у себя на кухне?
Тренируете нейросетку снимать лыжную маску с головый пользователя Apple Vision Pro.
Ну то есть когда вы надели на голову эту байду и смотрите на соседа, который тоже в метаверсике от эппле, то нейросетка вам дает картинку его реального лица без маски.
И все делают вид, что эта байда на голове никому не мешает. И вообще ее нет. А есть только spatial computing.
По идее задача несложная, по идее у Эппле уже есть Face-ID и трехмерный скан личика. Это прям помогатор при тренировке нейросеточки.
Только как быть всем остальным, которые не могут развидеть этих машущих руками зомбаков на улицах и у себя на кухне?
🔥35👍9
Экспертный совет для картинок. Stable Diffusion Mixture of Experts
Помните недавно вышел Микстраль 8x7B, построенный на концепции Mixture of Experts. Там внутри как бы несколько LLM(экспертов) и раутер, которые решает, кому лучше отдать решение задачи-запроса, пришедшего от пользователя. Обычно промпт отдается двум экспертам, которых выбрал раутер, и они уже хлещутся друг с другом о том, как лучше ответить на входящий промпт.
А теперь представьте такое же, только для картинок!
Ну и встречайте: SegMoE: Segmind Mixture Of Diffusion Experts
Если кратко.
Модели SegMoE имеют ту же архитектуру, что и Stable Diffusion. Как и в Mixtral 8x7b, модель SegMoE представляет собой несколько моделей в одной. Это происходит за счет замены некоторых слоев Feed-Forward на разреженный слой MoE. Слой MoE содержит сеть маршрутизаторов для выбора экспертов, которые обрабатывают токены наиболее эффективно. Вы можете использовать пакет segmoe для создания собственных моделей MoE!
https://huggingface.co/blog/segmoe#what-is-segmoe
Господа Гупта, Вишну и Прабхала сотворили настоящую камасутру для генерации картинок - смотрите прмеры на сайте. И давайте погадаем, сколько видеопамяти понадобится для такой оргии диффузионных агентов.
Ну круто же. Даете промпт, а там под ковром начинается возня, кто и как сделает именно вашу картинку. Можете устраивать баттлы из чекпойнтов. Можно подгружать туда свои чекпойнты.
Код? Апажалста:
https://github.com/segmind/segmoe
Не верите, что это работает? Глядите сюда:
https://www.youtube.com/watch?v=6Q4BJOcvwGE
Не терпится попробовать без питонинга? Уже есть имплементейшен для ComfyUI:
https://github.com/ZHO-ZHO-ZHO/ComfyUI-SegMoE
Помните недавно вышел Микстраль 8x7B, построенный на концепции Mixture of Experts. Там внутри как бы несколько LLM(экспертов) и раутер, которые решает, кому лучше отдать решение задачи-запроса, пришедшего от пользователя. Обычно промпт отдается двум экспертам, которых выбрал раутер, и они уже хлещутся друг с другом о том, как лучше ответить на входящий промпт.
А теперь представьте такое же, только для картинок!
Ну и встречайте: SegMoE: Segmind Mixture Of Diffusion Experts
Если кратко.
Модели SegMoE имеют ту же архитектуру, что и Stable Diffusion. Как и в Mixtral 8x7b, модель SegMoE представляет собой несколько моделей в одной. Это происходит за счет замены некоторых слоев Feed-Forward на разреженный слой MoE. Слой MoE содержит сеть маршрутизаторов для выбора экспертов, которые обрабатывают токены наиболее эффективно. Вы можете использовать пакет segmoe для создания собственных моделей MoE!
https://huggingface.co/blog/segmoe#what-is-segmoe
Господа Гупта, Вишну и Прабхала сотворили настоящую камасутру для генерации картинок - смотрите прмеры на сайте. И давайте погадаем, сколько видеопамяти понадобится для такой оргии диффузионных агентов.
Ну круто же. Даете промпт, а там под ковром начинается возня, кто и как сделает именно вашу картинку. Можете устраивать баттлы из чекпойнтов. Можно подгружать туда свои чекпойнты.
Код? Апажалста:
https://github.com/segmind/segmoe
Не верите, что это работает? Глядите сюда:
https://www.youtube.com/watch?v=6Q4BJOcvwGE
Не терпится попробовать без питонинга? Уже есть имплементейшен для ComfyUI:
https://github.com/ZHO-ZHO-ZHO/ComfyUI-SegMoE
🔥20👍4
Forwarded from Венчурная Прожарка by Axevil
Все наверняка слышали про новый стартап Маска xAI. Его миссия — создать по-настоящему безопасный ИИ, от которого выиграет все человечество. Вне зависимости от размера кошелька и политических предпочтений
Формально xAI появился в марте 2023. Быстро собрали команду. За 4 месяца натренировали первую LLM модель Grok
К ноябрю ее апгрейднули и стала доступна в виде чатбота для пользователей Твиттера в США. Grok развивается на глазах, обучаясь на фидбеке юзеров соцсети, она сравнилась с лучшими open-source моделями (Llama2)
Казалось бы, зачем Маску идти в новый проект? Илон имеет на то веские причины. У него наболело. В этом есть огромный бизнес потенциал. Поясню
Но все шло против него. То Google поглотит DeepMind, то OpenAI сделает пивот в сторону коммерции и изменит своей open-source философии
Думаю, поэтому Илон решился на xAI. Причем у него есть реальные шансы добиться успеха. xAI объединяет в себе 3 ключевых преимущества:
Please open Telegram to view this post
VIEW IN TELEGRAM
👍30🔥18👎6