GLM-Image: Auto-regressive for Dense-knowledge and High-fidelity Image Generation

Авторы GLM и RealVideo разродились гибридным генератором-редактором картинок на базе GLM-4-9B-0414, который сочетает авторегрессионный генератор и диффузионный декодер

Особенно хорошо справляется с заданиями, где нужно точно передать смысл и много деталей

"Хорошо" рендерит текст на картинках (проверим)

Может редактировать, менять стиль, сохранять внешность людей и объектов при генерации, согласовывать несколько персонажей или предметов в одной картинке

HF
Гитхаб
Демо
API

#imageediting

UniSH: Unifying Scene and Human Reconstruction in a Feed-Forward Pass

3D реконструкция сцены и человека по монокулярному видео за один проход

Определяет параметры камеры и SMPL (стандартной модели человеческого тела)

Гитхаб
HF
Демо еще не доделали

#HMR #video2scene #videoto3d

VerseCrafter: Dynamic Realistic Video World Model with 4D Geometric Control

Управляемая видеомодель мира с четким 4D геометрическим контролем камеры и движения нескольких объектов.

За видео отвечает Wan2.1

Гитхаб
HF

#world #cameracontrol #motioncontrol #trajectory #image2video

PixVerse R1

Ну а PixVerse выкатил "первую рилтаймовую" модель мира

— генерирует видео в разрешении до 1080p в реальном времени

— создаёт бесконечный видеопоток благодаря авторегрессивному механизму

— сохраняет физическую согласованность мира в видео даже при длительном воспроизведении

— обрабатывает пространственно-временные фрагменты вместе с текстовыми и аудиоданными

— подходит для создания интерактивных игр, кинематографических опытов, VR/XR-приложений, обучающих сред и симуляций

https://realtime.pixverse.ai/discover/ - Вход по инвайтам

Поклянчить инвайт

#realtime #world #longvideo

Я помню, как впервые попробовал вайбкодить.
Я тогда ещё ходил в школу, в 7 класс...

В одно прекрасное утро я шёл как обычно в школу,
и тут старшие ребята окликнули меня.

Я подошёл к ним, меня повели за гаражи
и там предложили попробовать вайбкодинг...

Я боялся, но мне хотелось попробовать —
так как пару моих знакомых уже сидели на вайбкодинге...

Я думал: от одного раза ничего не будет.
И я попробовал...

Скажу честно — первый раз мне не зашло,
но когда я попробовал вайбкодинг второй раз —
после этого я уже не мог остановиться...

Помню, как мы на каждой перемене в сортире
с пацанами вайбкодили без IDE, без ТЗ и без смысла.

В то время вайбкодинг был модным
и им занимались чуть ли не с первых классов абсолютно везде.

Некоторые мои знакомые вайбкодили сами,
а некоторые покупали курсы из-под полы.

Потом у меня появилась девушка.
В то время я плотно сидел на вайбкодинге,
и она об этом знала.

Сначала она не была против,
а я говорил, что в любой момент могу бросить.

Потом она поставила выбор:
либо она, либо вайбкодинг.

И я выбрал её, не задумываясь...

Через какое-то время она нашла в моей сумке
ноутбук, тёмную тему и незакоммиченные изменения...

Тогда я уже не смог отпираться...

Уже тогда я был на самом дне.
Невозможно представить, что мне приходилось делать,
когда не было сил на очередную сессию вайбкодинга...

Настали тяжёлые времена,
когда мы с пацанами вайбкодили
один проект на четверых без репозитория. С одного ноутбука, клавиатуру естественно никто не протирал.

Я видел, как уходили мои друзья один за другим...
Некоторые пытались бросить —
начинали писать по ТЗ.

Другие, когда не было идей совсем,
пытались пересесть на обычный код...

В ComfyCloud завезли импорт моделей с HuggingFace и CivitAI

#comfyUI #news

SAM3-DMS: Decoupled Memory Selection for Multi-target Video Segmentation of SAM3

Развитие модели SAM 3 для одновременного выделения нескольких объектов в видео

Вместо усреднения по группам оценивает каждый объект отдельно

Гитхаб

#segmentation #video2mask

Полностью локальная генерация объемных VR-миров прямо внутри Unity в реальном времени.

Интересный проект от подписчика Олега (@heilagr_s)

Для получения честного 6DOF (с возможностью наклоняться и заглядывать за объекты) реализован пайплайн генерации глубины и инпейнтинга окклюзий на лету.

Как это работает:

1. Генерация (Text-to-Image):
– Используется stable-diffusion.cpp через C# биндинги прямо в движке.
– Включен Circular Padding на уровне инференса. Это дает идеальный бесшовный стык краев без пост-процессинга.
– Модель: Z-Image-Turbo + 360° LoRA.

2. Карта глубины:
– Генерируется через Depth Anything V2 с помощью Unity Sentis.

3. Волюметрика и слои:
– Сцена нарезается на 5 слоев на основе гистограммы глубины. Это создает эффект 2.5D, но при разделении слоев за передними объектами образуются пустоты.

4. Инпейнтинг:
– Пустоты на задних планах заполняются через LaMa (также с помощью Unity Sentis). Инпейнтится и цвет, и глубина.

5. Рендеринг:
– Кастомный Raymarching шейдер. Каждый слой имеет свою карту глубины.

Такой подход дает корректный параллакс без резиновых растяжений текстур, свойственных обычному дисплейсменту.

https://www.reddit.com/r/StableDiffusion/comments/1qde674/

@cgevent