GigaAM: эффективный метод предобучения для распознавания речи

Исследователи из Сбера представили новый подход к обучению моделей распознавания речи, который показывает хорошие результаты даже без большого объема размеченных данных. Работа была принята на Interspeech 2025 — главной конференции года в области речевых технологий.

Как работает

Вместо классического метода с акустическими переменными (как в wav2vec 2.0 или HuBERT), GigaAM использует сигналы из CTC-модели. CTC (Connectionist Temporal Classification) — это подход, который умеет получать текст прямо из аудио, не требуя точной разметки где какой звук. В отличие от низкоуровневых акустических признаков, CTC-модель уже понимает семантику речи.

Self-supervised подход работает в два этапа: сначала они обучили свою CTC-модель на базе Conformer на 50k часах русской речи. Потом берут её выходы, делают K-means кластеризацию для создания меток и учат новую модель угадывать эти метки на замаскированных кусках аудио. Используется последний слой CTC-модели, а не промежуточные — так получаются более осмысленные цели.

Итоговое обучение идёт на 50k часов русской речи, а чтобы модель работала и в онлайн режиме, и с полным контекстом, во время обучения случайно меняют размер чанков (от 200мс до 8с).

Результаты

— минус 50% WER по сравнению с Whisper-large-v3
— лучшая точность среди open-source решений для русского
— одна модель для онлайн- и оффлайн-режимов
— масштабируется по данным и параметрам
— работает даже на 0.1% размеченных данных

На мой взгляд, это заметно облегчает одну из главных болей сферы — зависимость от размеченных датасетов. Для русского языка это особенно критично: собрать хороший корпус — долго, дорого и часто невозможно. А тут self-supervised подход, который работает даже в условиях дефицита данных.

Практически это означает более доступную разработку голосовых интерфейсов: помощников, систем распознавания звонков, ASR в чат-ботах. Модель и код выложены в открытый доступ — можно адаптировать под другие языки и задачи.

Статья
Код

@ai_newz

OpenAI создала белки, которые омолаживают клетки в 50 раз эффективнее

OpenAI совместно с Retro Biosciences разработала модель GPT-4b micro для инженерии белков.

Модель помогла создать новые варианты факторов Яманака - протеинов, превращающих обычные клетки в стволовые.

Результат: 50-кратное улучшение эффективности репрограммирования по сравнению с природными белками.

Новые белки RetroSOX и RetroKLF отличались от оригинальных более чем на 100 аминокислот, но работали лучше в 30-50% случаев.

Особенно важно - улучшилась способность восстанавливать повреждения ДНК, что прямо связано с омоложением клеток.

В эксперименте на человеческих фибробластах от доноров старше 50 лет уже через 7 дней более 30% клеток начали экспрессировать маркеры плюрипотентности.

Забыли про Оземпик. Через пару лет будем колоть продолжительность жизни.
Как в фильме Время.
Главное, чтобы не закончилось как в Субстанции. :)

#OpenAI #Longevity #Biotech
------
@tsingular

WIRobotics выпустили гуманоида ALLEX

Корейцы из WIRobotics представили универсального гуманоида ALLEX с качественными, точными в движениях, руками.

Каждая рука имеет 15 степеней свободы, поднимает 30+ кг и создает усилие 40+ Н кончиками пальцев.

Причём такие руки достаточно сложны в производстве, поэтому массовость наладят не скоро.

Механизмы и системы управления были разработаны в партнерстве с техническим университетом KOREATECH.

Pricise fingering (мелкая моторика) от корейцев :)
Будет интересно когда робот сможет кисточкой иероглиф нарисовать. Ну т.е. не как принтер, а именно художественная роспись на рандомной поверхности.

#ALLEX #WIRobotics #robots
------
@tsingular

Я понимаю, что на 3 поста вверх тяжело смотреть,- шея затекает, но там бессмертие подвезли. :)

@tsingular

Жадная телега (не админ. Админ,- практикующий альтруист), снова требует бустов для поддержания жироты широты эмоционального разнообразия и автопереводов.

Поддержите кому не влом 😀 :
https://xn--r1a.website/boost/tsingular

@tsingular

Eleven v3 (alpha) стала доступна через API

ElevenLabs открыла доступ к новой версии своей голосовой модели через API.

Основные улучшения - более эмоциональная выразительность и реалистичный синтез речи.

В модель встроена система водяных знаков VoiceShield - теперь можно отслеживать сгенерированный ИИ контент.

ИИ голос будет ещё сложнее отличить от настоящего человека.

#ElevenLabs #TTS #API
------
@tsingular