275K subscribers
5.69K photos
1.36K videos
17 files
6.07K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
Download Telegram
🌟 Liquid AI выложила речевой кодек своих аудиомоделей LFM3

LiquidCodec - компактный потоковый аудиокодек на 74 млн параметров, который переводит речь в дискретные токены для языковой модели и собирает звук обратно из токенов, предсказанных моделью.

На нём построены вышедшие в конце октября LFM3-Audio-2B и LFM3-Omni-2B, а главный упор сделан на скорость для работы на устройстве - на одном потоке процессора MacBook Pro с M4 Max кодирование идёт в 361 раз быстрее реального времени, декодирование в 87 раз.

🟡Архитектура

LiquidCodec выдаёт 12,5 кадра в секунду при частоте звука 24 кГц, кодер у него полностью причинный, т. е смотрит только в прошлое и подходит для потоковой работы.

Вместо остаточного векторного квантования, как в кодеке Mimi, на котором работала прошлая LFM2-Audio, здесь групповое конечное скалярное квантование и двенадцать кодовых книг языковая модель может предсказывать параллельно.

Декодер сразу выдаёт спектральные коэффициенты, без затратного обучаемого повышения частоты дискретизации.

🟡Тесты

Декодирование у LiquidCodec заметно быстрее, чем у соперников - на секунду звука уходит 0,0115 секунды против 0,0329 у Mimi, 0,0379 у X-Codec 2 и 0,2543 у NanoCodec.

Качество восстановленной речи по метрике ViSQOL на LibriSpeech составило 4,319 против 4,219 у NanoCodec, 4,119 у X-Codec 2 и 4,031 у Mimi.

По ViSQOL и расстоянию между мел-спектрограммами кодек лучший на всех восьми наборах на английском, китайском, немецком, французском, японском и корейском.

Модели синтеза речи, обученные на токенах LiquidCodec, получили лучшую естественность звучания на всех восьми наборах и лучшую разборчивость на четырёх.

Декодер с четырёхбитным квантованием весит в 3,5 раза меньше и почти не теряет в качестве - ViSQOL 4,292.


📌Лицензирование: LFM Open v1.0


🟡Блогпост
🟡Веса


@ai_machinelearning_big_data

#AI #ML #Audio #LiquidCodec #LiquidAI
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔34👍28❤12👏4🤓4🔥3😁3