3D-RE-GEN: 3D Reconstruction of Indoor Scenes with a Generative Framework

Реконструкция интерьеров по одному фото в полноценную редактируемую 3D-сцену с отдельными объектами

— создаёт текстурированные 3D-модели из 2D-изображений

— выравнивает объекты относительно пола с помощью оптимизации с четырьмя степенями свободы (4-DoF), из-за чего они не висят в воздухе и не проваливаются сквозь пол

— воссоздаёт фон, который гармонично сочетается с объектами

— в отличие от SAM3D, который не создаёт геометрию фона и допускает пересечения объектов, 3D-GEN реконструирует и объекты, и фон, делая сцены пригодными для VFX и игр

Под капотом:
— GroundedSAM для сегментации объектов
— Google Image Flash (NanoBanana) для аутпейнтинга
— Hunyuan3D 2.0 для создания 3D ассетов
— VGGT для оценки параметров камеры и создания облака точек.

Код ждем в конце января

#image2scene #imageto3d

GLM-4.7: Advancing the Coding Capability

Новая версия GLM с фокусом на кодинге

Справляется с созданием морд сайтов, постеров, слайдов и т д

— лучше справляется с мультилингвальным кодированием и задачами в терминале, например, на SWE-bench показывает 73,8 % (это на 5,8 % больше, чем у предыдущей версии)

— делает веб-страницы более современными и чистыми, а слайды — с точным макетом и размерами

— ловчее пользуется инструментами, что видно на тестах τ^2-Bench и BrowseComp

— сильнее в математике и логическом мышлении — на HLE набрала 42,8 %, что на 12,4 % больше, чем у GLM-4.6

— прокачалась в чатах, креативном письме и ролевых сценариях

— может думать перед каждым ответом, сохранять мысли между разговорами и управлять мышлением по ходам — это помогает в сложных задачах и экономит время в просты

HF
Гитхаб
Z-Chat

#assistant #coding #agent #multimodal #mllm

4D-RGPT: Toward Region-level 4D Understanding via Perceptual Distillation

Разработка Nvidia с бенчмарком
Пониматор видео в 4D (с учетом времени)

— 4D-RGPT умеет улавливать 4D особенности видео, включая глубину и движение во времени

— Отличается от других моделей тем, что лучше справляется с задачами, где нужно понимать динамику и пространственные отношения в видео

— Может отвечать на сложные вопросы о том, что происходит в разных частях видео, учитывая глубину и изменения во времени

Код ждем

#vlm #video2text

WorldWarp: Propagating 3D Geometry with Asynchronous Video Diffusion

Генерация длинных видео из одного изображения с учетом движения камеры и геометрической согласованностью, на базе Wan2.1-T2V-1.3B

Модель динамически обновляет 3D-кэш на каждом шаге, для сохранения согласованности фрагментов видео, за это, как я понял, отвечают гауссианы

Да, опять WAN. Мне нравится 🤓

Ну плывет конечно и похоже это не изза сжатия видео

Гитхаб
HF

#image2video #gaussian #longvideo