Время silero-tts v5 пришло!

🆕 Что добавилось / поменялось:

1️⃣ Модели в 3-4 раза быстрее v3 и в 1.5 - 2 раза быстрее v4;
2️⃣ Добавилась автоматическая расстановка ударений в омографах;
3️⃣ Значительно повысилось качество звучания и стабильность генерации;
4️⃣ В моделях всё так же поддерживается SSML;
5️⃣ Список голосов: aidar, baya, kseniya, xenia, eugene;
6️⃣ Ставить модель можно через torch.hub, тупо выкачав локально, через pip;
7️⃣ Скрутили дебафф из v4;

Список новых флагов:

put_accent=True,
put_yo=True,
put_stress_homo=True,
put_yo_homo=True

Минимальный пример буквально:

!pip install silero
from silero import silero_tts
model, example_text = silero_tts(language='ru',
                                 speaker='v5_ru')
audio = model.apply_tts(text=example_text)

Попробовать можно тут:

⭐️ Репозиторий
📔 Ноутбучек с примерами
⬆️ Статья на Хабре

⚡️ OpenAI выпустила GPT-5-Codex-Mini.

GPT-5-Codex-Mini - более доступная версия флагманского Codex, она в 4 раза эффективней по затратам по сравнению с полной версией GPT-5-Codex при небольшом компромиссе в производительности.

Разница в возможностях минимальна: на SWE-bench Verified версия Mini набрала 71.3%, в то время как старшая GPT-5-Codex - 74.5%. OpenAI рекомендует переключаться на Mini для решения более простых задач или для экономии ресурсов при приближении к лимитам. Старший Codex будет автоматически предлагать переход на Mini, когда пользователь достигнет 90% своего лимита.

Модель уже доступна в CLI и расширении для IDE, а в скором времени появится и поддержка через API.

@ai_machinelearning_big_data

#news #ai #ml

✔️ Две трети топовых ИИ-компаний допустили утечку секретов на GitHub.

Компания по облачной безопасности Wiz обнаружила, что 65% компаний из списка Forbes AI 50 допустили утечку API-ключей, токенов и других учетных данных на GitHub. По словам исследователей, это могло привести к раскрытию приватных моделей, данных обучения или внутренней структуры организаций.

Чаще всего секреты находили в файлах Jupyter Notebook и Python-скриптах. Среди утечек были токены Hugging Face, Azure и W&B. В одном из случаев скомпрометированный токен Hugging Face мог открыть доступ к тысяче приватных моделей.

Wiz публично назвала только ElevenLabs и LangChain, отметив их быструю реакцию. При этом почти половина всех уведомлений об утечках, отправленных другим компаниям, осталась без ответа.
wiz.io

🌐 Google обвинили в использовании ❗️Gemini для незаконного отслеживания частной переписки пользователей

Bloomberg пишет, что Gemini могли использовать для отслеживания данных пользователей в Gmail, сервисах обмена мгновенными сообщениями и видеоконференциях.

Истцы утверждают, что в октябре компания тайно активировала ИИ-модель для всех пользователей Gmail, Chat и Meet. В иске подчеркивается, что подобные действия являются прямым нарушением Калифорнийского закона о вторжении в частную жизнь.

Согласно иску, Gemini получает возможность «получать доступ ко всей записанной истории личных сообщений своих пользователей и использовать её, включая буквально каждое электронное письмо и вложение, отправленное и полученное в их учетных записях Gmail».

Возможность деактивации ИИ-сервиса существует, но она требует от пользователей специальных действий в настройках конфиденциальности Google.

🕵️ Дело: Thele v. Google LLC, 25-cv-09704, Окружной суд США, Северный округ Калифорнии (Сан-Хосе).

✋ @Russian_OSINT

Погружайся в мир инноваций и прокачивай навыки 21 ноября на True Tech Champ! 🏆

Тебя ждет конференция с российскими и международными экспертами и новый формат лектория — ИТ-качалка.

🎙️ Майкл Ланэм, канадский разработчик и автор технических бестселлеров, проведет воркшоп по созданию и управлению ИИ-агентами.
🎙️ Артем Лыков, ведущий RnD-разработчик MWS, аспират ISR Lab и Skoltech, расскажет о платформе PhysicalAgent для роботизированных манипуляций, которая объединяет итеративное мышление, генерацию видео на основе диффузионных моделей мира и выполнение задач в замкнутом контуре.
🎙️ Валентин Малых, руководитель фундаментальных исследований MWS AI, поделится тонкостями развертывания RAG-систем и осветит наболевший вопрос — длинный контекст против поиска по документам.

Также в программе — гонки и битвы роботов, консультации с HR-командой МТС, ИТ-Родео, робофайтинг и другие айтивности.

Участие бесплатное, можно смотреть трансляцию или прийти в МТС Live Холл. Регистрируйся на сайте и стань частью масштабного технофеста 🔥

#TrueTechEvents@truetechcommunity

PLUM: Adapting Pre-trained Language Models for Industrial-scale Generative Recommendations

Сегодня разбираем совместную статью Google DeepMind и YouTube. Об этой работе было известно заранее — на конференции RecSys авторы проекта, включая Ed Chi и Lichan Hong, упоминали, что готовится статья о генеративных рекомендациях. Через пару недель после конференции она действительно вышла.

Исследование продолжает трек генеративных рекомендаций, заданный предыдущей работой авторов TIGER. На этот раз основная идея — использование предобученных больших языковых моделей в рекомендательных пайплайнах (в случае Google — это Gemini). Простая LLM из коробки не подходит: модель не знает ни о корпусе айтемов, ни о пользовательских поведенческих сценариях, что приводит к плохим результатам. Чтобы исправить это, команда предлагает фреймворк PLUM, включающий три стадии: item tokenization, continued pre-training и task-specific fine-tuning. Кратко разберём каждую из них.

1) Item tokenization. За основу взята работа TIGER. В ней семантические идентификаторы (SIDs) формировались через RQ-VAE поверх текстового описания товара (эксперименты были на открытых датасетах Amazon). В PLUM к этому подходу добавляют коллаборативный сигнал и мультимодальные контентные представления. Используются уже готовые аудио-, видео- и текстовые эмбеддинги YouTube, которые конкатенируются и проходят через энкодер RQ-VAE.

Новые предложенные компоненты:

— Multi-Resolution Codebooks: число идентификаторов в кодбуках уменьшается от слоя к слою, чтобы верхние уровни разделяли крупные семантические категории, а нижние — более гранулярные признаки.
— Progressive Masking: модель обучается восстанавливать не полный набор SIDs, а его префикс.

Ключевая вещь в архитектуре — дополнительный contrastive learning на RQ-VAE, который вводит коллаборативный сигнал прямо в процесс токенизации. Берутся пары айтемов, встречавшихся рядом в пользовательской истории как позитивные пары, обучается с помощью InfoNCE по батчу. Так коллаборативный сигнал тоже участвует в формировании кодбуков без отдельной стадии дообучения как, например, в OneRec. В итоге SIDs начинают отражать не только контентную информацию об айтемах, но и коллаборативные пользовательские связи между ними.

2) Continued Pre-Training (CPT). Здесь языковая модель дообучается с увеличенным словарём, в который, помимо изначальных токенов, встроены токены айтемов. Модель обучается на смешанной задаче (supervised + self-supervised). Цель этой стадии — заставить LLM встроить в общее семантическое пространство представления токенов и SIDs.

3) Task-Specific Fine-Tuning. Это полноценное обучение на задачу генеративного ретривала: модель предсказывает релевантные айтемы в пользовательских историях (обучение на next token prediction).

В целом идея PLUM строится на прямой аналогии между словами в языковых моделях и айтемами в RecSys: если в NLP слова токенизируются для работы с огромным словарём, то в рекомендациях можно аналогично токенизировать айтемы.

Эксперименты и результаты

Основная модель — Mixture-of-Experts с ~900 млн активных параметров (всего 4,2 млрд).

В онлайн-A/B-тестах PLUM показывает рост ключевых метрик: CTR и вовлечённости пользователей, особенно в коротких видео (YouTube Shorts). Аблейшены подтверждают, что важны все предложенные компоненты.

В работе показывают законы масштабирования для предложенного фреймворка: при увеличении размера моделей при разном фиксированном вычислительном бюджете ошибки на обучении и валидации снижаются, но самые большие модели (около 3 млрд активных параметров, 20 млрд всего) пока упираются в ограничения вычислительных ресурсов. Исследователям не хватило времени, данных и мощностей, чтобы хорошо обучить модели такого размера, однако инженеры считают, что при дальнейшем масштабировании качество может вырасти ещё больше.

Финальная PLUM-модель дообучается ежедневно на ~0,25 млрд примеров, тогда как предыдущие LEM (Large Embedding Models) подходы требовали многомиллиардных датасетов.

@RecSysChannel
Разбор подготовил ❣ Владимир Байкалов