Нейромоделинг, нейрориг, нейромокап плюс Unreal Engine (тут скоро будет нейрорендер).

Роден сгенерировал 3D-модель Патрика Стара, автоматически заригал ее, потом импорт в UE, где она была санимирована в реалтаймовом нейромокапе CYAN AI.
Понятно, что криво-косо, но это 5 минут вместо недели. И это пока.

Кнопка "сделать красиво" все ближе

@cgevent

Помните старый фильм Живая сталь (Real Steel, 2011)?

Сколько интересно был бюджет на графику\аниматронику.

А сейчас можно взять робата из предыдущего поста и просто снять, а потом ускорить. 😄

@cgevent

ИИ идет по спирали.

Когда-то у Диснея еще в 2018(!!) году была удивительная работа (Cardinal AI) по конвертации сценариев(сторибордов) прямо в анимацию, а не в статичные модели. Они обновили ее в 2019 году (ссылка), и там это выглядело не только как построение лэйаутов, а еще и генерация анимации. И да, все это работало на основе библиотеки моделей, откуда таскались ассеты.

А теперь поглядите куда мы пришли со связкой Блендор + Клод + MCP.

На прошлой неделе Клод моделил самолетики и мебель, а сейчас смышленые парни прикрутили туда 3Д-сток с модельками, чтобы он не мучился, а таскал ассеты оттуда.
Вы просто покрутите видео и поглядите как импортируются текстуры, модели и хдри. И создается сцена с пляжем

И вот тут пора расчехляться Шаттерстоку...

Проматываем вперед: стоки забиты сгенерированными текстурами и 3Д-моделями, над ними парит Блендор, который на стероидах Клода, быстро собирает лего в соответствии с промптами (нет, не юзера, а) LLM, которая переводит хотелки заказчика в нужные промпты.
А Блендор нейрорендерит все это под нужный стиль..

@cgevent

PikaSwaps как виртуальная примерочная. Вполне возможно при спросе Pika смогут вывести этот продукт в отдельный сервис. Kling так и сделал с Virtual Try-On.

Твит

Облачные сервисы для аренды GPU и генерации всего.

Я уже проводил опрос про аренду GPU и по итогам нарисовалась тройка лидеров:
Runpod.io
Immers.cloud
Vast.ai

Я решил протестировать юзабилити и заодно поглядеть, как можно оптимизировать собственное поведение, чтобы экономить.

У меня в основном задачи, связанные с больше с быстрым тестированием и микроресерчем, чем с выстраиванием фиксированного пайплайна, поэтому мой опыт может подойти не всем, но я постарался вынести универсальные полезные выводы.

Взял довольно нагрузочную задачу связанную с генерацией видео в WAN, пошел на Immers.cloud и зашел сразу с козырей - аренда H100. Дело в том, что с выходом новых опенсорсных моделей, я прежде всего стараюсь тестировать модель "из коробки", не дожидаясь квантизации, оптимизации, адаптации под Комфи - хочется смотреть на непожатое качество и чистые, так сказать, возможности модели. Как правило, это тестирование в командной строке или в интерфейсе Gradio (типа как в Фордже), который не требует шаманства с Комфи и установок десятка дополнительных нод и выводка ужатых моделей.

WAN поддерживает технологию FlashAttention 3, которая работает только на картах с архитектурой Hopper (H100, H800).

Было интересно посмотреть на прирост, точнее на уменьшение времени генерации.

Давайте сразу приведу цифры, а потом изложу историю тестирования.

Тестировал модель Wan Image2video 14B в разрешении 480р, 5 секунд, 10 шагов, потребление - 70 гиг.

На карте A100 генерация шла со скоростью 20 секунд на итерацию, всего 3:24 минуты.
На карте H100 с Flash Attention 2 - 14 секунд на итерацию, всего 2:20 минуты.
На карте H100 с Flash Attention 3 - 10 секунд на итерацию, всего 1:48 минуты.

В общем выигрыш примерно в полтора раза, как и написано в бумаге.

Теперь, про опыт с immers.cloud - читаем следующий пост.

@cgevent

Теперь, про опыт с immers.cloud

Интерфейс на русском, это довольно большой плюс, ибо информации, чтобы сделать нужный выбор требуется довольно много, но везде есть минисправка.
Проще всего сразу тыкать в GPU, там выбирать сопутствующее железо (оперативка, диск - на цену не сильно влияют, брал по макс).
И можно сразу выбрать предустановленное(это плюс)

Тут сразу нюанс, у меня есть опыт работы с Линуксом, в чем мне сильно помог год назад chatGPT. Поэтому если выбирать машину с Убунтой, то у вас сразу может быть сервер установленным ComfyUI, Forge, Foocus и даже Automatic. Stable Diffusion и FLUX. Видеогенераторов пока нет.
Это может сильно сэкономить время, а оно стоит денег.

Что будет, если создать Windows Server - мне пока неведомо. Большинство новых моделей по умолчанию работают на Убунте и установка доп пакетов происходит там достаточно гладко. На Винде есть вопросы.

Дальше следующий нюанс. Подключение к Винде будет через Remote Desktop Protocol (RDP) - это довольно просто и у вас на экране будет просто интерфейс Винды (с Мака тоже можно).

А подключаться к Убунте придется через SSH. Для этого есть программка PUTTY (работает на всех операционках). С ней нужно научиться работать, а точнее следовать инструкциям, где указать маленький pem-файл авторизации, который вам дадут при создании сервака.
На сайте не указано, но утилита WinSCP прекрасно работает с файлами авторизации - это типа Total Comander - незаменимая вещь для закачки и скачивания файлов с сервера.

Так как мне нужна была видеогенерация, то я просто выбрал Линукс-сервер с последней CUDA 12.8, и нажал Создать. Надо сказать, что создается сервак небыстро, минут 15.

А потом вы просто попадаете в командную строку Ubuntu.

Повторюсь, у меня был опыт, но все равно понадобилось время(деньги), чтобы понять, что надо доставить, прежде чем разворачивать собственно WAN.

Дальше я просто запустил их же Gradio интерфейс и бросился тестировать в окне браузера.

Итого:
1. Что понравилось.
Все на русском с понятными справками.
Интернет на сервере ОЧЕНЬ быстрый.
Можно выбрать предустановленный Комфи и других.
Можно сохранять состояние сервера и возвращаться в это состояние после повторного подключения.
Можно прозрачно видеть за что и когда заплачено.

2. Что не понравилось.
Сервер стартует довольно долго. Но я не сравнивал с другими сервисами. Приходится постоянно поглядывать в окно браузера на статус. А если отвлекся, то можно пропустить момент активации и начала тарификации.

Хочется предустановленных Ваню с Хуней.

Теперь советы по экономии.

1. Там есть два режима остановки сервака: STOP и SHELVE. Так вот, STOP не останавливает тарификацию, а лишь снижает ее (вы все равно платите за аллокацию ресурса). Чтобы полностью остановить сервак и не платить за простой, надо делать SHELVE - класть на полку (хибернация для виндоводов). Если отойти чай заварить, то можно и застопить, а если закончить работу на пару часов, то на полку.

2. Потренируйтесь устанавливать то, что будете использовать где-то еще. Например на домашнем компе. Убедитесь, что все заводится, пройдите путь до успешного запуска и вылетания по нехватке памяти, например. Тратить серверное время на установку пакетов и коррекции возникающих ошибок - неоптимально. Если не на чем, сделайте сервак на самой дешевой карте, потренируйтесь там, а потом уже поднимайте монстра. У вас должен быть сценарий действий на руках, а не следование инструкциям с гитхаба, на которые уходят иногда часы. Я угрохал несколько часов на установку Flash Attention 3, а мог бы подготовиться заранее и почитать интернетик (кстати помог на итоге Грок 3).

3. На Убунте вам захочется сохранять окружение среды, всякие env, пути и другие настройки. Для этого есть утилита tmux. Вернет вас туда, откуда вы ушли при деактивации сервака.

4. С Комфи - отдельная история, это не веб-приложение, к нему не обратишься по IP адресу или Градио-ссылке. Киньте пару (сотен) звезд, расскажу как настроить PUTTY, чтобы видеть морду Комфи с сервака у себя на компе

5. Используйте WinSCP, вам же надо выкачивать свои генерации.

@cgevent