🌹4DGen: Grounded 4D Content Generation with Spatial-temporal Consistency

Генерация 4D-контента с пространственно-временной согласованностью!

Пайплайн обеспечивает условное создание 4D, позволяя пользователям задавать геометрию генераци и движение (монокулярные видео), тем самым обеспечивая контроль над созданием контента. #GaussianSplatting #3DGS

🖥 Code: https://github.com/VITA-Group/4DGen

🔮 Project: https://vita-group.github.io/4DGen/

📚 ArXiv: https://arxiv.org/abs/2305.06456

@ai_machinelearning_big_data

🌟 Как поднять X11 в контейнере и запустить Unity в YTsaurus

Команда 3D-реконструкции в Яндексе запустила рендеринг Unity-сцен в YTsaurus. За два дня отсканировали гостей премьеры «Кибердеревни», превратили в 3DGS-аватары и отрендерили тысячи роликов.

Графические движки оказались требовательнее вычислительных задач. Для запуска Unity в контейнере недостаточно пробросить /dev/nvidia0.

🟡Что добавили:

🟢/dev/nvidia-modeset
🟢/dev/dri/card0
🟢/dev/dri/renderD128
🟢X11-сервер с DDX-драйвером nvidia_drv.so
🟢dbus внутри контейнера

Прошли путь от контейнеров в локальном Docker до операций в YTsaurus. На пути выяснилось, каких устройств не хватает. Коллеги из Yandex Infrastructure за несколько часов добавили поддержку Xorg для GPU-хостов.

Перед запуском протестировали на Quake II RTX. У A100 нет RT-ядер и NVENC — трассировка через Compute-шейдеры, видео кодируется софтом на CPU.

Результат: рендеринг стал обычным шагом в пайплайне. Никаких виртуалок и ручных запусков.

@ai_machinelearning_big_data

#AI #ML #YTsaurus #3DGS #Unity