В ComfyCloud завезли импорт моделей с HuggingFace и CivitAI

#comfyUI #news

SAM3-DMS: Decoupled Memory Selection for Multi-target Video Segmentation of SAM3

Развитие модели SAM 3 для одновременного выделения нескольких объектов в видео

Вместо усреднения по группам оценивает каждый объект отдельно

Гитхаб

#segmentation #video2mask

Полностью локальная генерация объемных VR-миров прямо внутри Unity в реальном времени.

Интересный проект от подписчика Олега (@heilagr_s)

Для получения честного 6DOF (с возможностью наклоняться и заглядывать за объекты) реализован пайплайн генерации глубины и инпейнтинга окклюзий на лету.

Как это работает:

1. Генерация (Text-to-Image):
– Используется stable-diffusion.cpp через C# биндинги прямо в движке.
– Включен Circular Padding на уровне инференса. Это дает идеальный бесшовный стык краев без пост-процессинга.
– Модель: Z-Image-Turbo + 360° LoRA.

2. Карта глубины:
– Генерируется через Depth Anything V2 с помощью Unity Sentis.

3. Волюметрика и слои:
– Сцена нарезается на 5 слоев на основе гистограммы глубины. Это создает эффект 2.5D, но при разделении слоев за передними объектами образуются пустоты.

4. Инпейнтинг:
– Пустоты на задних планах заполняются через LaMa (также с помощью Unity Sentis). Инпейнтится и цвет, и глубина.

5. Рендеринг:
– Кастомный Raymarching шейдер. Каждый слой имеет свою карту глубины.

Такой подход дает корректный параллакс без резиновых растяжений текстур, свойственных обычному дисплейсменту.

https://www.reddit.com/r/StableDiffusion/comments/1qde674/

@cgevent

Samsung Internet

Самсунг выпустил бета версию своего браузера с ИИ-функциями пересказа и перевода страниц

"доступен в Южной Корее и США"

#news #browser

ггуф приехал

https://huggingface.co/unsloth/FLUX.2-klein-9B-GGUF/tree/main

Спасибо @lexxxx999

#flux2 #gguf

Sparrow-1

Tavus выпустил новую диалоговую рилтаймовую аудио-видео модель (Sparrow-0 тут)

Она создана для работы с видео, где важно, чтобы разговор выглядел естественно

— понимает, кто сейчас «владеет» разговором

— использует потоковое аудио и учитывает контекст, чтобы не было задержек

— обучается под каждого говорящего, подстраиваясь под его темп речи

— учитывает такие вещи, как «э-э», «м-м», незавершённые фразы и явные перебивания

— реагирует мгновенно, когда намерение говорящего понятно, и ждёт, если есть неопределённость

— показала 100% точность и полноту в тестах, не допускает перебиваний, а среднее время отклика составляет 55 мс

— уже доступна в продуктах Tavus, включая API и платформу Tavus

#assistant #voicemode #talkinghead #realtime

ShapeR

Реконструкция 3D сцен от Meta (запрещено в РФ) по набору изображений.
Воссоздает отдельные объекты, а не всю сцену одним куском

Гитхаб
HF

#scenereconstruction #image2scene #imageto3d #3d

Step3-VL-10B: Compact Yet Frontier Multimodal Intelligence

Лёгкая мультимодальная модель от Степана с 10B параметров, уровня Gemini 2.5 Pro и Qwen3-VL-235B. Умеет работать с визуальной информацией, решать сложные задачи и подстраиваться под нужды человека

В качестве декодера Qwen3-8B

Гитхаб
HF
MS

#mllm #vlm #assistant