Kyutai Labs выпустили прикольную аудио модель реального времени (пейпер, репозиторий). Если вам надоело ждать ChatGPT advanced voice - попробуйте её, она доступна всем на сайте или даже локально на процессорах Mac:

$ pip install moshi_mlx
$ python -m moshi_mlx.local_web -q 4

Moshi состоит из трёх компонентов: языковой модели Helium, нейронного аудиокодека Mimi и уникальной многопотоковой архитектуры. Система способна моделировать полнодуплексные разговоры, имитируя естественное общение, включая перекрытие речи и прерывания. Moshi работает в режиме реального времени даже на относительно скромном оборудовании.

Для обучения была создана база данных из 20 000 часов синтетических разговоров. Эти данные включают различные условия записи и акценты для пользовательских голосов, при этом голос самой Moshi остается постоянным. Это обеспечивает устойчивость системы к шумным средам и сохранение её характера.

В настоящее время выпущены две версии - с мужским и женским голосами.

Андрей Карпаты пишет:

Это действительно круто, что я могу запустить такой тип голосового взаимодействия даже на своем Macbook, что репозиторий доступен на GitHub вместе с подробной научной статьей, и я, безусловно, с нетерпением жду возможности без усилий разговаривать с нашими компьютерами напрямую, без использования промежуточных текстовых представлений, которые теряют огромное количество информационного содержания.

По-русски не говорит и не понимает 🎧

UPDATE: Запустил на своём macbook air на m2, тормозит ощутимо 🔨

Сергей Булаев AI 🤖 - об AI и не только