LiquidCodec - компактный потоковый аудиокодек на 74 млн параметров, который переводит речь в дискретные токены для языковой модели и собирает звук обратно из токенов, предсказанных моделью.
На нём построены вышедшие в конце октября LFM3-Audio-2B и LFM3-Omni-2B, а главный упор сделан на скорость для работы на устройстве - на одном потоке процессора MacBook Pro с M4 Max кодирование идёт в 361 раз быстрее реального времени, декодирование в 87 раз.
LiquidCodec выдаёт 12,5 кадра в секунду при частоте звука 24 кГц, кодер у него полностью причинный, т. е смотрит только в прошлое и подходит для потоковой работы.
Вместо остаточного векторного квантования, как в кодеке Mimi, на котором работала прошлая LFM2-Audio, здесь групповое конечное скалярное квантование и двенадцать кодовых книг языковая модель может предсказывать параллельно.
Декодер сразу выдаёт спектральные коэффициенты, без затратного обучаемого повышения частоты дискретизации.
Декодирование у LiquidCodec заметно быстрее, чем у соперников - на секунду звука уходит 0,0115 секунды против 0,0329 у Mimi, 0,0379 у X-Codec 2 и 0,2543 у NanoCodec.
Качество восстановленной речи по метрике ViSQOL на LibriSpeech составило 4,319 против 4,219 у NanoCodec, 4,119 у X-Codec 2 и 4,031 у Mimi.
По ViSQOL и расстоянию между мел-спектрограммами кодек лучший на всех восьми наборах на английском, китайском, немецком, французском, японском и корейском.
Модели синтеза речи, обученные на токенах LiquidCodec, получили лучшую естественность звучания на всех восьми наборах и лучшую разборчивость на четырёх.
Декодер с четырёхбитным квантованием весит в 3,5 раза меньше и почти не теряет в качестве - ViSQOL 4,292.
@ai_machinelearning_big_data
#AI #ML #Audio #LiquidCodec #LiquidAI
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔34👍28❤12👏4🤓4🔥3😁3