Привет! Это канал ML-команд VK. Здесь мы будем делиться новостями, кидать анонсы мероприятий и обсуждать разные темы, которые вам интересны. Будем знакомы!🥳

Давайте знакомиться!

Саша Пославский, руководитель группы Core ML департамента AI, рассказал о том, как современные нейросетевые модели могут улучшить рекомендательные системы, почему трансформеры превосходят классические методы и как они уже применяются для создания более точных рекомендаций.

Смотрите запись выступления Саши Трансформеры в рекомендациях Дзена с конференции VK JT и делитесь впечатлениями💪

👾 Приглашаем на smartmail 17 мая: ML Meetup от VK

Привет! Немного реанимируем чат интересным анонсом: наши друзья из Mail.ru организовывают ML-митап и зовут всех желающих.

🦾 На митапе будут доклады от тимлидов Mail.ru, в рамках которых ребята обсудят NLP-подходы в своих сервисах и расскажут про свой AutoML пайплайн. А еще обязательно поделятся опытом по заведению LLM-фич in the wild!

🦿Участие в митапе для всех свободное, но необходимо пройти регистрацию, чтобы ребята смогли подготовиться и предусмотреть комфортные условия для гостей.

👁️ Формат митапа — офлайн, коллеги будут рады комфортному нетворкингу и обмену опытом (p.s. записи тоже будут доступны тем, кто зарегистрируется).

Дата: 17 мая
Время: 18:00
Место: офис VK (Скайлайт, аудитория Б1)
Зарегистрироваться можно здесь📍

Как варить контентные вкусы пользователей и не обжечься в продакшене?

Андрей Кузнецов, директор по машинному обучению в ОК, рассказывает, как команда ОК разработала мультимодальный эмбеддер контента и применила его для построения контентных вкусов пользователей.

Подробно узнаете:
• Архитектуру модели: было/стало и что ещё можно попробовать.
• Архитектуру реализации в продакшене: streaming, Big Data pipelines, векторные базы данных и инференс нейросетей под большими нагрузками.
• Применение в рекомендательных системах: как и зачем.

Видео тут.

Рубрика: софт-скиллы😎

Делимся записью дискуссии Алгоритмы и soft skills: секреты роста ML-специалиста

На дискуссии обсудили, какие треки развития есть у ML-специалистов, что делать, если упираешься в потолок, как быстро вырасти и мотивировать свою команду на новые свершения.

Спикеры:
• Андрей Зимовнов, ML-директор департамента AI VK;
• Дмитрий Меркушов, руководит машинным обучением в Почте и других сервисах Mail․ru (проекты VK);
• Евгений Парамонов, отвечает за виртуального ассистента Салют в SberDevices;
• Александр Дьяконов, академический руководитель направления наук о данных в Центральном университете.

25 мая встречаемся на офлайн дне конференции Data Fest в VK!

⚡️Что будет

Топовые треки: RecSys, Speech, NLP, Advanced LLM, CV и многое другое.
Больше 30 докладов, спикеры из VK и других крупных компаний, нетворкинг и невероятная концентрация ML экспертизы весь день🔋

🖇 Детали

▫️25 мая (суббота)
▫️Skylight (Атриум, А1 и Кинозал – площадки, где будут выступления), Ленинградский пр-т., 39
▫️Начало в 12:00
▫️Формат: офлайн + онлайн трансляция RecSys трека

P.S. Программа еще формируется, все обновления будут на сайте 🔜
Регистрируйтесь по ссылке: внутри будут все анонсы программы и докладов.

Про современные подходы к кластеризации текста с помощью больших языковых моделей

На семинаре VK Lab старший программист-разработчик департамента AI VK Антон Земеров разобрал три разных подхода к кластеризации текста на основе LLM. Вы узнаете, какие проблемы они решают и в каких ситуациях их лучше всего использовать.

Опираемся на эти статьи и рекомендуем с ними познакомиться:
— Goal-Driven Explainable Clustering via Language Descriptions: vk.cc/cvqcx0
— ClusterLLM: Large Language Models as a Guide for Text Clustering: vk.cc/cvqcz7
— Large Language Models Enable Few-Shot Clustering: vk.cc/cvqcAH

Смотреть семинар здесь.

Вредные LLM‑советы для непослушных NLP‑разработчиков и их продактов

Ваня Самсонов, руководитель группы прикладных исследований ИИ, и Дима Парпулов, руководитель команды машинного обучения, поделились опытом разработки продуктов c LLM. В итоге получился микс из болей продактов, исповеди разработчиков, юмора, упоротых рифм и советов Капитана Очевидности.

О чем поговорили:
• обоснование собственного претрейна и его развития;
• основные проблемы при переходе на свой претрейн;
• адаптация open source под русскоязычную реальность;
• почему лучше выпустить с ошибками на старте, чем не выпустить вообще;
• как синтетика заменяет армию AI-тренеров.

Видео ищите здесь.

P.s. а всех, кто зарегался на митап команды Mail.ru сегодня, очень ждём!

Два часа до старта Data Fest🥳

В 12:00 встречаемся офлайн и онлайн! Трансляция главного зала без смс и регистрации (Recsys и Speech) по ссылке 👉 тут 💃

Привет! Завтра (30 мая) в 17:00 команда Одноклассников зовёт на свою регулярную ридинг группу. Будем разбирать статью разработчика команды прикладных исследований ОК Андрея Аргаткина DenseAttention: No-Compromise Exact All NxN Interactions Algorithm with O(N) Space and Time Complexity.

Андрей расскажет о том, как убрать из стандартного трансформерного блока несколько компонентов, не потеряв в качестве, но выиграв в скорости (даже у flash attention!)

Увидимся в зуме!

Записи прошедших ридинг клубов можете найти в канале.

Врываемся в июнь с новостями — теперь каждый месяц этот канал будет вести одна из наших ML-команд🥳

Июньские первопроходцы — команда экспериментальных технологий AI VK. Ребята расскажут про себя, свои задачи и поделятся разным полезным.
Познакомимся уже на этой неделе, готовьте вопросы☺️

Привет!
Меня зовут Илья Алтухов, и я руковожу группой экспериментальных технологий в AI VK.

Сейчас нас в команде 7 человек, выпускники ШАД, МФТИ и ФКН. Мы занимаемся R&D для рекомендательных систем.

Наша цель — смотреть за горизонт и находить новые технологии, а потом затаскивать их в продукт вместе с командами, отвечающими за ML инфраструктуру, рекомендации и поиск. Мы всегда смотрим, как наши разработки можно переиспользовать и где применить среди всех продуктов VK, а затем масштабируем.

Одно из наших направлений — разработка мультимодальных моделей. У нас есть разные типы контента: длинные видео, короткие клипы, статьи. Мы разрабатываем модель, которая будет делать векторные представления контента в едином пространстве. Затем эти представления внедряем в продукт для улучшения рекомендаций, модерации, поиска и тд.

В следующих постах мы с командой расскажем подробнее про результаты наших разработок и подходы, которые мы используем в работе.

Stay tuned! 😎

Претрейн контентного видео-энкодера

Одной из задач разработки мультимодальной модели является разработка эмбеддера видео. Видео — это последовательность кадров, образующая единую сущность. Мы хотим уметь моделировать строгую последовательность этих кадров, максимально эффективно используя вычислительные ресурсы.

Для моделирования кадров есть уже существующие подходы, например: 1D ConvNets и RNN над эмбеддингами кадров, 3D ConvNets над самими кадрами. Если рассмотреть эти подходы в контексте обобщающей способности для получения контентных эмбеддингов и вычислительной стоимости, то:

— 1D ConvNets - имеют слабую обобщающую способность и низкую вычислительную стоимость
— RNN - имеют слабую обобщающую способность и высокую вычислительную стоимость
— 3D ConvNets - имеют сильную обобщающую способность и высокую вычислительную стоимость

Оптимальным решением является трансформерная архитектура, но она, как и любая другая, обладает рядом особенностей - для обеспечения наилучшей сходимости необходима процедура претрейна. Одним из классических методов претрейна трансформеров является MLM, но в случае видео он не применим из-за недискретной природы данных (кадров).

Для решения проблемы недискретности кадров мы решили использовать SOTA подход претрейна из домена акустических моделей: BEST-RQ. Данный подход решает такую особенность входных данных путем отображения их в финитное пространство, используя квантизатор. Для претрейна мы собрали свой датасет, который состоит из 200 млн. видео суммарной длительностью 6 млн. часов и содержащих 20 млрд. токенов (кадров). Из каждого видео кадры сэмплировались 1 кадр/сек. Эмбеддинги кадров были посчитаны с помощью EfficientNet-B0. Рассчет кадров происходил в системе YTSaurus на GPU-MAP операциях, весь обсчет занял 4 дня с использованием 500 Nvidia 1080Ti.
Евгений Астафуров из нашей команды про это решение подробно рассказал на DataFest 2024.

Этот подход показал свою эффектиность и мы уже в стадии разработки новой улучшенной версии, о которой расскажем в одном из следующих постов.

Айтемный эмбеддер

Мы разрабатываем модель, которая будет создавать векторные представления (эмбеддинги) для айтемов. Сложность состоит в том, что любой айтем содежит много разнородной информации. Например, у видео есть следующие составляющие: видео кадры, произносимый текст, музыка на фоне, текст на самом видео, название, описание, и тд. В итоге мы хотим создать единый эмбеддинг для айтема, который в себе будет содержать всю эту информацию.

Для решения этой задачи существуют разные подходы:
1. Использовать эмбеддинги из предобученных моделей. В этом случае мы получим не удовлетворительное качество из-за сдвига домена и того, что изначально модель обучалась на другую задачу.
2. Использовать supervised подходы при наличии разметки. Но сложность состоит в ограниченности размеченных данных.
3. Использовать unsupervised подходы. В таких подходах требуется много данных и существует сложность в постановке задачи.

Мы используем unsupervised подход, используя текхники contrastive learning. Суть заключается в использовании метода Noise Contrastive Estimation [раз, два] за счет максимации взаимной информации между разными составляющими айтема.
Например, в случае видео мы максимизируем информацию между выходом с видео энкодера, результатом ASR и названием видео. В результате такого обучения — эмбеддинги разных составляющих находятся в общем пространстве. Таким образом, для формирования итогового эмбеддинга айтема мы взвешенно складываем эмбеддинги разных модальностей.

В результате эти эмбеддинги используются для улучшения качества рекомендаций, поиска и модерации. В рекомендациях мы используем эти эмбеддинги в разных задачах. Например, строим ANN индекс для поиска айтемов похожих на позитивы или делаем пользовательских шаг ALS и дальше используем dot-product между пользовательским и айтемным эмбеддингами как фичу в ранжировании.
А про то, как мы используем эмбеддинги в поиске — расскажем в одном из следующих постов.