Adobe: в обновлённом Illustrator векторную графику можно крутить как 3D объекты. Выделяешь что нужно, жмёшь Generate Views, и можешь менять горизонтальное / вертикальное положение, используя новые виды. Причём изменения в одном объекте, можно применить другим таким же (см. рога у летучих мышей). Также оно понимает как работать с освещением при ротации.
Мы видели генерацию новых видов в опенсорсных 3D генераторах, типа Zero123++ и иже с ними. Но, тут оно всё положено под капот с желанным UI/UX.
Ну и создание анимации на основе таких 3D объектов в афтере выглядит неплохо. Для какой-нибудь простой ютуб открывашки или низкобюджетной рекламы сойдёт.
Другой проект, где можно вкинуть SVG и делать из него 3D это Meimu.
У кого адобовская подписка дайте фидбек как оно по ощущениям в ваших задачах.
Твит
Мы видели генерацию новых видов в опенсорсных 3D генераторах, типа Zero123++ и иже с ними. Но, тут оно всё положено под капот с желанным UI/UX.
Ну и создание анимации на основе таких 3D объектов в афтере выглядит неплохо. Для какой-нибудь простой ютуб открывашки или низкобюджетной рекламы сойдёт.
Другой проект, где можно вкинуть SVG и делать из него 3D это Meimu.
У кого адобовская подписка дайте фидбек как оно по ощущениям в ваших задачах.
Твит
Пока недалеко отошли от Adobe и 3D. Я уже рассказывал, что через их новую апу Substance 3D Viewer можно просматривать 3D файлы в фотошопе.
Так вот с её помощью можно работать в режимах Text-to-3D или 3D-to-Image, то есть и генерить из текста 3D, или на голые 3D меши накатывать текстуры с фоном.
Причём можно выбирать:
* Создать фон под уже текстурированный 3D объект
* Поменять текстуры объекта и фон
* Поменять текстуры объекта и не трогать фон
Adobe предоставляют гайд по всему процессу и 3D объект для тестов. Либо вы можете сделать сплат чего-нибудь под рукой в Postshot, например.
Кстати про сплаты. В режиме text-to-3D меш генерится именно в них. Но в Substance нет возможности экспортировать 3D (ибо он работает как привязка к фотошопу). Однако в папке с временными файлами находятся .ply, которые можно закинуть в SuperSplat или другие редакторы с поддержкой сплатов. На гитхабе есть конвертор на эту тему, как и линк на коллаб, если мощей компа не хватает. Думается Adobe эту лазейку как-то закроет, но пока можно пользоваться.
Гайд по Substance 3D от Adobe
Тестовый 3D объект
Гитхаб 3D конвертор
Так вот с её помощью можно работать в режимах Text-to-3D или 3D-to-Image, то есть и генерить из текста 3D, или на голые 3D меши накатывать текстуры с фоном.
Причём можно выбирать:
* Создать фон под уже текстурированный 3D объект
* Поменять текстуры объекта и фон
* Поменять текстуры объекта и не трогать фон
Adobe предоставляют гайд по всему процессу и 3D объект для тестов. Либо вы можете сделать сплат чего-нибудь под рукой в Postshot, например.
Кстати про сплаты. В режиме text-to-3D меш генерится именно в них. Но в Substance нет возможности экспортировать 3D (ибо он работает как привязка к фотошопу). Однако в папке с временными файлами находятся .ply, которые можно закинуть в SuperSplat или другие редакторы с поддержкой сплатов. На гитхабе есть конвертор на эту тему, как и линк на коллаб, если мощей компа не хватает. Думается Adobe эту лазейку как-то закроет, но пока можно пользоваться.
Гайд по Substance 3D от Adobe
Тестовый 3D объект
Гитхаб 3D конвертор
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
This media is not supported in your browser
VIEW IN TELEGRAM
Ого, ого. Новый клиент для ComfyUI.
Отдельное standalone приложение. Windows / macOS / Linux
Весит 200MB. Ставится локально, как обычная программа, без всяких ГитКлонов, ПипИнсталов и requirements.
ComfyUI Manager Shipped by Default
Табы как в браузеры и произвольные хоткеи.
Новый UI - меню со своими пунктами, трей, БИБЛИОТЕКА МОДЕЛЕЙ.
Ну и вот: ComfyUI теперь позволяет пользователям вставлять url/id модели в рабочий процесс и автоматически загружать ее. Например, если вы открываете шаблоны, но у вас нет модели, ComfyUI предложит вам загрузить недостающие модели, определенные в рабочем процессе.
Comfy Node Registry (CNR) - база кастомных нод.
PyTorch 2.5 по дефолту
Для серверов на рунпод: On the backend, you will still use the same thing as before. On the frontend, we will be able to support you to connect to runpod backend.
Да, будет портабл версия
It will install PyTorch by default. Will not affect system python
Да, будет код.
Старый пользовательский интерфейс в настоящее время находится в режиме maintenance и не получит новых возможностей. Мы призываем всех разработчиков пользовательских узлов и расширений поддержать новый пользовательский интерфейс.
Я зарегался вбету:
https://www.comfy.org/waitlist
Подробности:
https://blog.comfy.org/comfyui-v1-release/
@cgevent
Отдельное standalone приложение. Windows / macOS / Linux
Весит 200MB. Ставится локально, как обычная программа, без всяких ГитКлонов, ПипИнсталов и requirements.
ComfyUI Manager Shipped by Default
Табы как в браузеры и произвольные хоткеи.
Новый UI - меню со своими пунктами, трей, БИБЛИОТЕКА МОДЕЛЕЙ.
Ну и вот: ComfyUI теперь позволяет пользователям вставлять url/id модели в рабочий процесс и автоматически загружать ее. Например, если вы открываете шаблоны, но у вас нет модели, ComfyUI предложит вам загрузить недостающие модели, определенные в рабочем процессе.
Comfy Node Registry (CNR) - база кастомных нод.
PyTorch 2.5 по дефолту
Для серверов на рунпод: On the backend, you will still use the same thing as before. On the frontend, we will be able to support you to connect to runpod backend.
Да, будет портабл версия
It will install PyTorch by default. Will not affect system python
Да, будет код.
Старый пользовательский интерфейс в настоящее время находится в режиме maintenance и не получит новых возможностей. Мы призываем всех разработчиков пользовательских узлов и расширений поддержать новый пользовательский интерфейс.
Я зарегался вбету:
https://www.comfy.org/waitlist
Подробности:
https://blog.comfy.org/comfyui-v1-release/
@cgevent
This media is not supported in your browser
VIEW IN TELEGRAM
Пока про Comfy говорим. Наткнулся тут на Comfyui-FlowChain. С его помощью можно конвертировать свои воркфлоу в ноды, и соединять воркфлоу между собой.
Автор говорит, что вшитая в Comfy фича для группировки "convert to group node" может вызывать баги и имеет ограничения, а его решение их обходит.
Пока не тестил. Бэкапьтесь, если что.
Гитхаб
Автор говорит, что вшитая в Comfy фича для группировки "convert to group node" может вызывать баги и имеет ограничения, а его решение их обходит.
Пока не тестил. Бэкапьтесь, если что.
Гитхаб
This media is not supported in your browser
VIEW IN TELEGRAM
RhymesAI: полку опенсорсных генераторов видео пополнение — Allegro.
Что тут у нас:
* Видео 720p в 15 к/с. Пока только text-2-video, вроде с хорошим следованием промту. Можно интерполировать до 30 к/с через EMA-VFI. Если что, с помощью Flowframes можно и больше.
* Нужно 9,3 ГБ VRAM ибо модель маленькая, но эффективная (175M VideoVAE // 2,8B DiT). Остальное пойдёт в RAM. Если вырубить CPU offload, то будет жрать 27,5 ГБ VRAM.
* Ухватывает контекст 88 кадров (до 6 сек), что может пригодиться для продления видео как у Adobe, или редактирования как в Movie Gen
* Ограничения по контенту минимальные
* Код и веса открыты
* Лицензия Apache 2
Генерируемые видео по качеству и консистентности лучше, чем у CogVideoX и других опенсорных альтернатив. Я бы даже сказал, если оно реально как на примерах, то может стать щелчком по лбу и некоторым платным моделям. Но сколько уходит на 1 видео и насколько контролируем в реальности результат неясно. Надо тестить.
Дальше планируют: image-2-video, мульти-GPU генерацию, контроль движения, и создание видео на основе раскадровок. Если последнее будет как когда-то было обещано в NUWA — будет ништяк.
Анонс
Гитхаб
Хаггинг
Что тут у нас:
* Видео 720p в 15 к/с. Пока только text-2-video, вроде с хорошим следованием промту. Можно интерполировать до 30 к/с через EMA-VFI. Если что, с помощью Flowframes можно и больше.
* Нужно 9,3 ГБ VRAM ибо модель маленькая, но эффективная (175M VideoVAE // 2,8B DiT). Остальное пойдёт в RAM. Если вырубить CPU offload, то будет жрать 27,5 ГБ VRAM.
* Ухватывает контекст 88 кадров (до 6 сек), что может пригодиться для продления видео как у Adobe, или редактирования как в Movie Gen
* Ограничения по контенту минимальные
* Код и веса открыты
* Лицензия Apache 2
Генерируемые видео по качеству и консистентности лучше, чем у CogVideoX и других опенсорных альтернатив. Я бы даже сказал, если оно реально как на примерах, то может стать щелчком по лбу и некоторым платным моделям. Но сколько уходит на 1 видео и насколько контролируем в реальности результат неясно. Надо тестить.
Дальше планируют: image-2-video, мульти-GPU генерацию, контроль движения, и создание видео на основе раскадровок. Если последнее будет как когда-то было обещано в NUWA — будет ништяк.
Анонс
Гитхаб
Хаггинг
StabilityAI: стараются исправиться и выпустили Stable Diffusion 3.5.
В релиз входят версии Large и Turbo. Первая имеет 8B параметров и заточена работать в разрешении 1024х1024, а вторая является её ускоренной (дистиллированной) версией, выдающей в 4 шага при CFG 1.2 результат схожий с 30 шагами в базовой модели. 29 октября ещё выкатят Medium 2.5B с исправленной MMDiT-X архитектурой и возможностью генерить до 2048х2048.
В этот раз Stability оптимизировали модель для тренировок на её основе. Также это привело к тому, что результаты по одному и тому же промту могут быть разные, даже если сид зафиксирован. Нужно писать промты детальнее.
Пока генерить можно либо в командной строке из папки с SD 3.5, либо в Comfy (обновитесь до последней версии).
Весят Large и Turbo одинаково по 16,5 ГБ и жрут до 20 ГБ VRAM на одну x1024 картинку, если гонять их через Comfy (22 ГБ на 4 картинки). Если просто запускать командами из папки, то не хватит и 24 ГБ — оно полезет в RAM.
В Large на одно 1024х1024 изображение в 30 шагов нужно около 15 секунд на 4090, на 4 картинки 1 минута. В Turbo при 4 шагах 2-3 сек. Это в Comfy, из командной строки в Large 40 сек на картинку тратится мбо модель, clip и vae загружаются/выгружаются при каждой генерации.
Обе модели промту следуют так себе, а качество вообще швах, временами словно на голую SD 1.5 смотришь. Опять артефакты, lowres шакальность и проблемы с анатомией. Я с Flux уже забыл, что это такое.
И если Flux это была любовь с первого промта, то тут видать только острозаточенные лоры дадут поймать то, что ты ищешь. Из коробки может только если что-то абстрактное или артовое даётся приемлемо. Видать поэтому фокус действительно на кастомизиции-тренировке модели.
При этом TDP (энергопотребление) доходит до 499 Вт, что даже выше целевых 480 Вт для игрового режима у 4090.
Нормально ли видюху долго гонять на мощностях выше целевых при условии, что охлаждение удерживает температуру в пределах 65-75 градусов? Пишите в комментах.
В плане лицензии, SD 3.5 позволяет свободное коммерческое использование, если годовой заработок на ней до $1 млн.
В общем, комьюнити сделало из SD 1.5 конфетку. Будем наблюдать, как сообщество примет и разовьёт SD 3.5.
Анонс
Гитхаб
Хаггинг
Comfy воркфлоу
Демо Large
Демо Turbo
В релиз входят версии Large и Turbo. Первая имеет 8B параметров и заточена работать в разрешении 1024х1024, а вторая является её ускоренной (дистиллированной) версией, выдающей в 4 шага при CFG 1.2 результат схожий с 30 шагами в базовой модели. 29 октября ещё выкатят Medium 2.5B с исправленной MMDiT-X архитектурой и возможностью генерить до 2048х2048.
В этот раз Stability оптимизировали модель для тренировок на её основе. Также это привело к тому, что результаты по одному и тому же промту могут быть разные, даже если сид зафиксирован. Нужно писать промты детальнее.
Пока генерить можно либо в командной строке из папки с SD 3.5, либо в Comfy (обновитесь до последней версии).
Весят Large и Turbo одинаково по 16,5 ГБ и жрут до 20 ГБ VRAM на одну x1024 картинку, если гонять их через Comfy (22 ГБ на 4 картинки). Если просто запускать командами из папки, то не хватит и 24 ГБ — оно полезет в RAM.
В Large на одно 1024х1024 изображение в 30 шагов нужно около 15 секунд на 4090, на 4 картинки 1 минута. В Turbo при 4 шагах 2-3 сек. Это в Comfy, из командной строки в Large 40 сек на картинку тратится мбо модель, clip и vae загружаются/выгружаются при каждой генерации.
Обе модели промту следуют так себе, а качество вообще швах, временами словно на голую SD 1.5 смотришь. Опять артефакты, lowres шакальность и проблемы с анатомией. Я с Flux уже забыл, что это такое.
И если Flux это была любовь с первого промта, то тут видать только острозаточенные лоры дадут поймать то, что ты ищешь. Из коробки может только если что-то абстрактное или артовое даётся приемлемо. Видать поэтому фокус действительно на кастомизиции-тренировке модели.
При этом TDP (энергопотребление) доходит до 499 Вт, что даже выше целевых 480 Вт для игрового режима у 4090.
Нормально ли видюху долго гонять на мощностях выше целевых при условии, что охлаждение удерживает температуру в пределах 65-75 градусов? Пишите в комментах.
В плане лицензии, SD 3.5 позволяет свободное коммерческое использование, если годовой заработок на ней до $1 млн.
В общем, комьюнити сделало из SD 1.5 конфетку. Будем наблюдать, как сообщество примет и разовьёт SD 3.5.
Анонс
Гитхаб
Хаггинг
Comfy воркфлоу
Демо Large
Демо Turbo