Inworld TTS-1.5

Коммерческая рилтаймовая говорилка, лидер TTS на Artificial Analisys arena

— работает быстрее предшествующих версий и многих аналогов — задержка до первого звука меньше 250 мс для версии Max и меньше 130 мс для Mini

— поддерживает 15 языков, включая русский - на плейграунде есть 4 русских голоса

— примерно в 25 раз дешевле аналогов

— доступна для развёртывания в облаке и на собственной инфраструктуре клиента

Есть две версии модели:

— Max — для большинства приложений, обеспечивает баланс качества и задержки

— Mini — для приложений, где критически важна минимальная задержка

Плейграунд

#tts #text2speech #realtime #russian

Maya-1 TTS

День машинного голоса на Нейронавте.

Эмоциональная рилтаймовая говорилка на 3B параметров с созданием голоса по промпту.

Эмоции задаются прямо в тексте тэгами эмоций:

<laugh>
<laugh_harder>
<sigh>

Поддерживает более 20 встроенных тегов эмоций

24КГц
Заводится на 16GB+ VRAM

HF
Демо
Плейграунд - у меня показывает 404

#tts #text2speech #realtime #voicedesign

Linum v2

Два брата, Сахил и Ману, за два года с нуля разработали модель для генерации видео из текста. Модель имеет 2 миллиарда параметров и создаёт видео длиной 2–5 секунд в разрешении 360p или 720p

— Использует T5 для кодирования текста.

— Применяет Wan 2.1 VAE для сжатия.

— Имеет backbone на основе DiT с обучением через flow matching.

— Может генерировать видео в мультяшном и анимационном стилях, с сценами еды и природы, простым движением персонажей

— Пока не справляется со сложной физикой, быстрым движением (например, гимнастикой или танцами) и согласованным текстом

Разработчики планируют улучшить модель: доработать физику и деформации, ускорить работу через дистилляцию, добавить аудиовозможности и масштабировать модель.

Гитхаб
HF

Спасибо @p0lygon

#text2video

houdini-comfyui-bridge

Опенсорсный плагин для использования ComfyUI прямо в Houdini

— загружает узлы ComfyUI в COPs

— импортирует и экспортирует данные из ComfyUI — генерирует изображения, меши, аудио и прочее

— даёт возможность создавать кастомные пайплайны, которые объединяют CG с диффузионным и генеративным ИИ через TOPs submitte

#houdini #comfyui #3d

Motion 3-to-4: 3D Motion Reconstruction for 4D Synthesis

превращает обычное видео в 4D-объект. Модель берёт одно видео и, если нужно, 3D-модель, и делает из них динамичный 4D-объект

— разбивает задачу на две части: сначала создаёт статичную 3D-форму, потом восстанавливает движение

— использует специальную «базовую» 3D-сетку, чтобы лучше понимать движения

— предсказывает, как будут двигаться точки в каждом кадре, чтобы объект выглядел реалистично и не «разваливался»

Гитхаб

#videoto3d #videoto4d #3d #4d

ActionMesh: Animated 3D Mesh Generation with Temporal 3D Diffusion

Похожая, но полкруче модель от Meta (запрещено в РФ) создает анимированную 3D-модель по видео. Также может анимировать по текстовому промпту, или сделать модель из изображения и анимировать ее

Гитхаб
HF
Демо

#videoto3d #videoto4d #3d #4d