Последние два месяца, чтобы переключиться от бесконечных симуляций, вечерами зарубаюсь в Stable Diffusion и ComfyUI. Занятно конечно наблюдать как постепенно AnimateDiff, IPAdapter, Kohya, LoRA и тд из абстрактных абревиатур превращаются в новые ноды в графе знаний.

Из интересных (мне) результатов:

- как LoRA обученная на своих же работах (кристаллы из OG:CR в этом случае) бустит выдачу стандартной SDXL модели
https://www.instagram.com/p/C2Sbvi6O4Pn

- а что будет если посчитать моушен-вектора от лоурезной анимации из Runway и применить обратно на хайрезные исходные картинки?
https://www.instagram.com/p/C0t1AcUOmYy
https://www.instagram.com/p/C0_e-OlOq4x

- автоматический in-paint недостающих кусков на геометрии дисплейснутой сгенереной картой глубины (Marigold ее классно считает)
https://www.instagram.com/p/C2kZTjKufoJ

- а что если поверх еще попросить NVIDIA Broadcast пофиксить глаза, чтобы смотрели всегда в камеру?
https://www.instagram.com/p/C2nCM6ruyQM


Я, кстати, оживил свой твиттер и threads, так что если хочется больше апдейтов:
https://twitter.com/myshli_com
https://www.threads.net/@myshli

Ничесе, мой прошлый пост в попал в пост-cgevent-ный канал Сергея Ципцина! :) Шутки шутками, а канал на самом деле занятный - если интересно про передний край технологического и при этом творческого, тогда это мастхэв для чтения

https://tttttt.me/cgevent

Перемножения матриц и линуксных команд там нету, но мне чтение очень помогает следить за тем что прямо вот только-только появляется, а дальше уже можно самому решать стоит туда закапываться или нет.

Кто не знал, что в Гудини можно одной командой поменять все абсолютные пути в сцене на relative (ну или вообще заменить что угодно на что угодно), тот я. Мне периодически нужно было например наимпортированное из Megascans подготовить к рендеру на ферме и я как лох или ручками все правил или ставил какие-то забубеные тулы, а делается все вот так

https://www.jamesrobinsonvfx.com/blog/opchange/

Потом проверить, что все норм получилось, можно через Render -> Pre-flight Scene, о чем я тоже конечно же не знал. Век живи век учись 😅

Для арт-проекта ищу секвенцию с полным сканом тела человека (не важно в какой плоскости, главное чтоб полный набор слайсов), чем выше разрешение тем лучше. То ли я не так ищу, то ли это не так уж и просто найти - если есть линки где взять буду очень благодарен!

В рамках возврата знаний обратно в комьюнити - если надумаете делать что-то со сканами, то вот что получилось насобирать коллективными усилиями:

- много сканов в nrrd формате, есть поиск (нужна регистрация, но это за 2 минуты делается)
https://www.embodi3d.com/files/category/15-democratiz3d%C2%AE-processing/?filter=file_free

- картинки срезов и кт/мрт в хорошем разрешении из Visible Human Project (это где пару людей заморозили и порезали на саб-миллиметровые слайсы)
https://data.lhncbc.nlm.nih.gov/public/Visible-Human/Male-Images/index.html

- чтобы экспортнуть срезы в секвенцию картинок из nrrd есть к примеру вот такой софт
https://www.slicer.org/

- но так как он очень медицинский о UX там скажем так не сильно задумывались, экспорт в картинки не делается в один клик, как я наивно предполагал 😅 вот ГАЙД ПО МОДУЛЮ ЭКСПОРТА
https://discourse.slicer.org/t/the-sequence-module/16490
https://slicer.readthedocs.io/en/5.6/user_guide/modules/screencapture.html

- nrrd можно затянуть напрямую в гудини как вольюм с помощью этого гита
https://github.com/TresSims/HoudiniFileInterpreters?tab=readme-ov-file

- но там в начале кода ошибка, которая бесконечно запускает новые инстансы гудини. надо ручками поставить библиотеку из ссылки ниже и в скрипте в начале исправить "import pynrrd" на "import nrrd"
https://pypi.org/project/pynrrd/

- или можно затянуть в гудини слайсы одной нодой - внутри объекта ставишь cop2net с Method в Volume, а внутри него обычной File нодой загружаешь секвенцию слайсов - все, у вас есть вольюм с содержимым 😍

Немного тестов с анимацией в rgb и глубине - типа работает, но я все так же 🤷🏻‍♂️ куда это применять кроме рилзов в инсте. Content generation в чистом виде. По крайней мере я разобрался чего ожидать от основных нод в Комфи и генеративный сленг меня больше не ставит в тупик :)

https://www.instagram.com/p/C3GCM4XOYdP

https://www.youtube.com/watch?v=Na4KadSK770

Прошел Signalis и еще на несколько дней залип на просмотре разборов теорий (есть как минимум 4 непротиворечиво объясняющих сюжет, не каждая игра может таким похвастаться).

По-моему с выхода Inside не было чего-то чтобы так классно погружало в свою атмосферу и настолько долго меня занимало после окончания. Был немного в шоке, когда узнал что игру сделали два (!!!) человека, я хз вообще как это все можно было уместить в голове и вытянуть продакшен не сгорев по дороге.

Тест шейдинга/рига для LSTR из Signalis. Надеюсь хватит сил сделать всю анимацию, что уже посмотрел в голове :)

Классно видеть как проект по "Ложной слепоте" живет своей жизнью - сегодня написал Денис Бонадрцов:

"В рамках курса по 3d в вебе взял за референс солнечную систему из Blindsight для риалтайм интерактива

https://solar-system-v1-eosin.vercel.app

Страница проекта https://github.com/zimoby/SolarSystem_V1"

Я помню сколько времени угрохал когда делал в гудини свою версию (https://vimeo.com/297931965), не представляю какой объем работы был чтобы это в рилтайме в браузере сделать

Боюсь надеяться, но неужто у Amazon впервые выйдет не заменеджеренный до состояния аморфной серой массы сериал? 👀

https://www.youtube.com/watch?v=V-mugKDQDlg

(хотя внутренний голос мне говорит: amazon, amazon never changes)

Друзья, кто-нибудь едет на GDC?

Я в этом году буду на конфе (в первый раз), если есть желание - давайте встретимся-познакомимся!

Как говорится, было классно работать с вами, друзья.

У Sora сегодня новые демки https://openai.com/blog/sora-first-impressions

А одна из моих любимых студий PostPanic объявила о закрытии. Это в копилку к еще паре среднего размера студий закрывшихся за последние недели.

Кто говорит «ai это просто инструмент» давайте дружить - вместе будем разносить еду в кафе и мыть посуду, лучше связи налаживать заранее

После затишья в марте за эту неделю пришли проекты от Elastic, Method Studios, Tendril и Imaginary Forces. Как у вас, закончился даунтренд?

Внезапно на Кинопоиске подборка мнений про будущее влияние AI на индустрию VFX, есть на любой вкус - от "это инструмент и мы им уже пользуемся" до "нам конец" (за дистопию отвечаю конечно же я 😅). Милости прошу в мое пессимистичное будущее:

https://www.kinopoisk.ru/media/article/4009359/

Если бы у вас было впереди 10 недель без работы и по паре свободных часов в день на это, то какому скилу вы бы хотели за это время научиться? (спрашиваю для друга 😂)

В жизни каждого человека наступает момент, когда он оказывается на развилке - принять предложение и дальше работать в хорошем офисе над интересными проектами и получать за это вагон $$ и кучу корпоративных плюшек, или отказаться и остаться сидеть в трениках перед домашним монитором и беспокоиться будет ли завтра новый проект. Я, конечно, выбираю второе 😂

Если серьезно - конечно же адски приятно получать предложение на такую позицию, но это ЛА, что для меня несовместимо с жизнью. Попробуйте лучше вы написать, может у кого-то все сложится https://jobs.apple.com/en-us/details/200548657/senior-houdini-technical-director

Не знаю когда соберусь собрать кейс на сайт, так что опять расскажу про проект в виде инстаграмных ссылок.

https://www.instagram.com/p/C53Xvo-gR3A/

Elastic пришли ко мне прошлым летом за R&D и стайлфреймами для открывающих титров "A Brief History of the Future" - это такой научпоп-сериал для PBS с позитивным видением будущего и рассказом какими технологиями его можно строить (что на самом деле классная тема, позитивной картинки будущего по-моему очень не хватает сейчас нашей цивилизации).

Я на тот момент был с семьей в Европе, так что мог предложить им только part-time и работу с ноута (наверное, если привыкнуть, ноут это ок, но для меня это было мучительно и по времени рендера и по комфорту работы). Занятно, что пришли ко мне не за бесконечными летящими песочными партиклами и не за ростом атрибутов с конвертацией в VDB, уж не знаю как так получилось, что это стало моим go-to типом проектов.

Нужно было делать генеративную архитектуру, которую выращивают из мицелия (!) и зарождение экспоненциальной сложности нейронных связей в сетках

https://www.instagram.com/p/C6G5I0DR2rp/?img_index=1
https://www.instagram.com/p/C6bkqYtuYM7/?img_index=1
https://www.instagram.com/p/C7B-JiRuq8k/?img_index=1
https://www.instagram.com/p/C6WgSVmC973/?img_index=1

Заканчивал анимацию и рендер уже вернувшись в сентябре к своему рабочему компу и разница в скорости и удобстве конечно колоссальная. От растущих атрибутов совсем уйти не удалось, видимо судьба, но вообще было очень приятно что-то поделать, где надо сначала несколько дней поискать хорошее решение, а не сразу фигачить по накатаной.

Титры подали на Emmy в этом году, не знаю какие шансы на победу, но все равно приятно что вписали 🤞

Интересный сейчас опыт фриланса словил. Обычно когда говорю свой рейт, то решение о сотрудничестве бинарное - или "да, работаем" или "нет, не влезает в бюджет". А тут у студии было заложено денег на треть меньше, чем на мой минимальный рейт, но я для эксперимента предложил "А давайте я буду по своему рейту, но 5.5 часов в день? Работаю я все равно обычно быстрее, чем средний фриланс-эфиксер". И они внезапно согласились 👀🤔

Вот уже вторую неделю на таком графике и оказалось, что за 5-6 часов сфокусированной работы я делаю близко к тому, что делаю за 8, но при этом к вечеру вообще нет ментальной усталости, как-будто и не работал. Денег меньше, да, но есть место для персональных проектов и кукуха вроде здоровее становится. Осталось сделать последний рывок и работать 5-6 часов, а брать все-таки за 8 😂