🔹 На ридинг-группе 20 ноября Олег Климов, ML-инженер AI VK, разобрал исследование о том, как Spotify адаптирует рекомендации под контекст пользователя: когда лучше предлагать музыку, а когда — подкасты и почему правильный микс типов контента так важен для вовлечённости.

Запись встречи уже доступна — приятного просмотра!

#ридинггруппа #aivk

🔥 Большой датасет коротких видео для рекомендаций VK-LSVD в открытом доступе

Мы открыли доступ к датасету VK-LSVD — это ~40 млрд взаимодействий между 10 млн пользователей и 20 млн видео, плюс контентные эмбеддинги и часть анонимизированных пользовательских фичей.

По меркам открытых рекомендательных датасетов — это очень большой и редкий набор данных. Но есть ещё один важный плюс: все взаимодействия сохранены в хронологическом порядке. Это сильно упрощает разбиение на train / val / test и улучшает воспроизводимость экспериментов — настоящий подарок для исследователей RecSys.

Кому полезно:
🔸исследователям рекомендательных систем;
🔸участникам соревнований;
🔸тем, кто просто хочет потренировать модельку на реалистичных данных и посмотреть, «как оно в проде».

На Хабре мы подробно рассказали:
🔸как устроен датасет;
🔸как загрузить и обработать данные;
🔸как готовить разбиения;
🔸как фильтровать пользователей/айтемы по популярности.

🔗 Приятного чтения и добро пожаловать в VK RecSys Challenge!

#RecSysChallenge #RecSys #LSVD

🔸Google запустил Nano Banana Pro (eng | ru)
Новая версия мультимодели на базе Gemini 3 Pro: поддержка 4K, до 14 изображений при редактировании и сохранение портретного сходства нескольких людей. Модель умеет искать изображения в вебе и использовать их при генерации. Улучшено качество текста, включая русский. Все картинки помечаются SynthID.

🔸Anthropic представил Claude Opus 4.5 (eng | ru)
Флагманская модель улучшила результаты в кодинге, Excel, аналитике и агентных сценариях. Впервые добавлена функция «бесконечного чата» — память сжимается без разрыва диалога. Лидер на SWE-bench Verified и в тестах на устойчивость к атакам.

🔸Black Forest Labs представила FLUX.2 (eng | ru)
Модели генерации изображений с поддержкой до 10 входных фото, 4K-разрешения и корректным отображением текста. Полная версия требует ≈ 90 ГБ VRAM, FP8-вариант снижает память на 40 %. Есть опенсорс-версия на Hugging Face.

🔸Режим «Исследование покупок» в ChatGPT (eng | ru)
Новая функция на базе GPT-5 mini: уточняет запросы и подбирает товары, работает как Deep Research для шопинга. Доступна всем пользователям.

🔸Meta* выпустила SAM3 — модель сегментации (eng | ru)
Распознаёт и отслеживает объекты в фото и видео, понимает текстовые команды («выдели жёлтый автобус»), создаёт 3D-реконструкции по одному снимку. Применяется для подсветки объектов, трекинга и размытия лиц. Доступна на Hugging Face.

*Компания Meta признана в России экстремистской организацией, её деятельность запрещена.

🔸АФТ и Альянс в сфере ИИ представили методологию оценки эффекта от AI (ru)
Документ стандартизирует подход к измерению выгоды от AI-проектов: рост доходов, снижение расходов, оптимизация штата, управление рисками. Включает метрики и методы — от рандомизированных экспериментов до альтернативного моделирования.

📍 Новая статья от инженеров VK на Хабр:
Датасет VK-LSVD помогает тестировать алгоритмы рекомендаций: сейчас на его базе проходит VK RecSys Challenge

#дайджест #aivk

На ридинг-группе 4 декабря обсудим очередную попытку разрушить классическую парадигму рекомендательных систем – фреймворк RecGPT от компании Taobao.

Китайский комбайн умеет предсказывать интент и интересы пользователя, генерировать и ранжировать айтемы-кандидаты и даже объяснять рекомендации.

Ведущим будет Александр Подвойский, ML-инженер AI VK.

🔹 4 декабря в 18:00

Zoom: ссылка
ID: 707 776 9330
Код: 464167

Параллельно запустим стрим прямо в канале AI VK Hub.

#ридинггруппа #aivk

🔥 Transformers vs. длинные последовательности: есть новости!

Трансформеры остаются главным рабочим инструментом для текста, видео, аудио и других модальностей. Они хорошо работают, дают сильные метрики — но у них есть один серьёзный минус: квадратичный рост вычислений с длиной входа.

На практике это означает либо ограничение контекста, либо медленный инференс.

За последние годы было две большие волны попыток решить проблему квадратичной сложности:

1. Линейные attention-механизмы
Позволяли получить линейную сложность, но выигрывали по скорости только на очень длинных последовательностях и зачастую были хуже по качеству. В реальных задачах классический трансформер часто оказывался и быстрее, и точнее.

2. State Space Models (SSM)
Дают и качество, и линейную сложность, но ценой больших ограничений:
— необходимость низкоуровневого CUDA-кода, чтобы работало быстро,
— работа только на свежих Nvidia GPU,
— поддерживают только авторегрессионное моделирование как в архитектурах типа GPT.

Например, применить SSM из коробки к распространенным задачам вроде классификации документов (где тот же BERT чувствует себя отлично) непросто. А если нужно задеплоить на сотни разных устройств, то и практически невозможно

Мы разобрали статью, в которой автор предлагает новый подход:

Автор рассматривает новую архитектуру DenseAttention, которую мы уже обсуждали ранее. Она отлично показывает себя в языковом моделировании и других задачах, а также работает в любых сценариях на любом оборудовании. Теперь он вместе со своей научной группой выделяет ингредиенты, которые делают ее одновременно эффективной и качественной и которые можно применить и к другим архитектурам с линейной сложностью:

🔸сокращение количества голов внимания вплоть до одной;
🔸схема чередования слоёв локального и глобального внимания, которая работает лучше только локального или только глобального внимания:
🔸включение современных вариантов относительных позиционных эмбеддингов (Relative Positional Embeddings — RelPE).

Сейчас группа тестирует эти и другие приемы на различных архитектурах, подбирая универсальную формулу, которую можно применить к любым существующим механизмам линейного внимания, чтобы радикально повысить его качество моделирования и сбросить наконец трансформер с королевского пьедестала.

➡️ Если тема зацепила — читайте нашу статью на Хабре.

Обзор статьи подготовлен командой AI VK
#обзорстатьи #transformers

📢 Сегодня на ридинг-группе обсуждаем новую попытку переосмыслить классическую парадигму рекомендательных систем — фреймворк RecGPT от Taobao.

Начинаем через 20 минут, ждём вас в Zoom или на трансляции в AI VK Hub!

Zoom: ссылка
ID: 707 776 9330
Код: 464167

🎬 На ридинг-группе 4 декабря Александр Подвойский, ML-инженер AI VK, разобрал фреймворк RecGPT от Taobao — ещё одну попытку переосмыслить классическую парадигму рекомендательных систем с помощью LLM.

Обсудили, как модель предсказывает интенты и интересы пользователя, генерирует и ранжирует кандидатов, а также формирует объяснения к рекомендациям. Поговорили о плюсах подхода, его практических ограничениях и том, насколько он действительно способен заменить традиционный стек RecSys.

Запись встречи уже ждёт вас!

#ридинггруппа #aivk

Большинство современных рекламных и рекомендательных систем используют многостадийную архитектуру (MCA):
1. быстрая генерация пула кандидатов;
2. последующее ранжирование тяжёлой моделью.

Этот подход масштабируем, но имеет системные недостатки:
🟣несогласованность оптимизационных целей между стадиями;
🟣смещение распределений пользователей и айтемов;
🟣падение качества финальных рекомендаций, доходности и UX.

Исследователи из Meituan предлагают решение — UniROM, первую промышленную end-to-end архитектуру, которая заменяет весь каскад одной моделью, генерирующей финальный список объявлений сразу из полного пула кандидатов в Location-Based Services.

Детали

UniROM состоит из двух основных модулей:

1. RecFormer
Моделирует интересы пользователя и externalities между объявлениями:
🟣 Global Cluster-Former — снижает сложность с 𝑂(𝑁*𝑁) до 𝑂(𝑁*𝐶), где С — число кластеров;
🟣Mid-Fusion Interest Former — балансирует между ранним и поздним объединением признаков, учитывая намерения пользователя.

2. AucFormer
Генерирует финальный список объявлений. Характерные особенности:
🟣non-autoregressive присвоение позиций;
🟣permutation-aware оценка pCTR/pCVR;
🟣отдельная payment-network для корректного ценообразования в аукционе.

Обучение — двухэтапное:
1. обучение pCTR на реальных логах;
2. дообучение через RL для оптимизации аукциона и соблюдения IC/IR-ограничений.

Результаты

UniROM применили для ранжирования рекламных объявлений в городских сервисах — на один запрос приходится около 100 000 кандидатов.

Оффлайн-эксперименты показали:
🟣Recall@50 ↑ +20.4%
🟣AUC ↑ +1.48%
🟣eCTR ↑ +8.3%
🟣eRPM ↑ +11.4%

Онлайн A/B-тесты (7 дней):
🟣CTR ↑ +5.2%
🟣RPM ↑ +13.6%
🟣ROI рекламодателей ↑ +3.1%

При этом задержка выросла всего на 2.2%, несмотря на обработку пула кандидатов, увеличенного в сотни раз.

Итог: модель одновременно улучшила доход платформы, пользовательский опыт и эффективность рекламодателей — редкое сочетание для рекламных систем.

Заключение

UniROM демонстрирует, что end-to-end ранжирование может успешно заменить классическую каскадную архитектуру в реальной индустриальной среде. Такой подход:
🟣убирает рассинхрон между стадиями;
🟣учитывает externalities между объявлениями;
🟣снижает зависимость от ручного feature engineering;
🟣улучшает бизнес-показатели без серьёзного роста задержек.

Открытым остаётся вопрос масштабирования: можно ли распространить подход с 100k кандидатов до уровней, где речь идёт о десятках-сотнях миллионов?
Если это удастся, UniROM способен изменить стандарт разработки рекомендательных и рекламных систем глобального масштаба.

Обзор статьи подготовлен командой AI VK
#обзорстатьи

На ридинг-группе 18 декабря обсудим статью SilverTorch — фреймворк, призванный демократизировать применение больших рекомендательных нейросетей.

Правда демократизация касается только тех, у кого есть сотня-другая видеокарт NVIDIA A100. Но у кого их нет, правда?

Ведущим будет Роман Болозовский, ML-инженер AI VK. Встреча начнется в 18.00.

🔹 18 декабря в 18:00

Zoom: ссылка
ID: 707 776 9330
Код: 464167

Параллельно запустим стрим прямо в канале AI VK Hub.

#ридинггруппа #aivk

📢 Сегодня на ридинг-группе разбираем фреймворк SilverTorch — обещание демократизировать большие рекомендательные нейросети (для тех, у кого пара сотен A100 под столом 😉).

Начинаем через 20 минут!
Ждём вас в Zoom или на трансляции в AI VK Hub.

Zoom: ссылка
ID: 707 776 9330
Код: 464167

📍 VK RecSys Challenge 2025: итоги ML-соревнования

Мы подвели итоги VK RecSys Challenge 2025 — ежегодного соревнования по разработке рекомендательных алгоритмов. В этом году фокус был на одной из самых сложных задач в RecSys — cold start.

Масштаб
🟣~800 исследователей из 14 стран
🟣3900 решений
🟣219 команд и индивидуальные участники
🟣География: Россия, Казахстан, Беларусь, Узбекистан и др.

Задача
Участникам нужно было предсказать, кому будет интересен новый клип, даже если он ещё ни разу не показывался пользователям.

Данные
Для соревнования был открыт датасет VK-LSVD:
🟣40 млрд обезличенных пользовательских взаимодействий
🟣20 млн коротких видео
Один из крупнейших публичных датасетов для задач рекомендаций и cold start.

Формат
🟣Общая секция
🟣Студенческая секция (ВШЭ, ИТМО, МГУ, МФТИ и др.)

Награды
🟣Призовой фонд — 2 500 000 ₽
🟣Победители уже объявлены на странице соревнования, ими стали:

⠀⠀1. madgnome
⠀⠀2. Maksim Kuzin
⠀⠀3. Elves do RePlay

⠀⠀Студенческий трек:
⠀⠀1. Онего
⠀⠀2. Andrey Kuznetsov
⠀⠀3. maxvol goes brrr

🏆 Награждение пройдет в январе 2026 на Data Ёлке в Москве и Санкт-Петербурге.

VK RecSys Challenge — это не только соревнование, но и способ посмотреть, какие подходы к рекомендациям работают на реальных индустриальных данных и куда движется RecSys сегодня.

➡️ Лидерборд и подробности — по ссылке

#RecSysChallenge #RecSys #LSVD

🎬 На ридинг-группе 18 декабря Роман Болозовский, ML-инженер AI VK, разобрал статью про SilverTorch — фреймворк, который предлагает упростить работу с крупными рекомендательными моделями и расширить к ним доступ.

Поговорили о месте SilverTorch в экосистеме рекомендательных систем, его возможностях масштабирования, о том, какие задачи он реально закрывает, и где заявленная «демократизация» по-прежнему требует внушительных вычислительных ресурсов. Также обсудили практические кейсы использования и потенциальную ценность инструмента для команд и исследователей.

Запись ридинг-группы уже здесь — можно посмотреть в удобное время.

#ридинггруппа #aivk