https://youtu.be/KZeIEiBrT_w

Не могу не поделиться новым видео от Veritasium! Здесь есть всё: закон больших чисел, цепи Маркова, деление ядер урана, метод Монте-Карло, японский Билл Гейтс, Yahoo и Google, PageRank, n-граммные языковые модели, LLM…

Я стараюсь каждый день начинать с ресерча (чтения статей / книг / etc). Основным мотиватором для этого обычно является intellectual curiosity (и я гораздо быстрее и лучше вникаю, когда мне искренне интересно), и вот такие видео во мне это самое любопытство очень хорошо пробуждают :)

RecSys Substack.

Кто-то, возможно, помнит, как я раньше почти каждую неделю делал дайджесты со статьями, в которых обозревал новинки с arXiv.

Начинал я это делать еще внутри Яндекса, почти три года назад, в рамках IR семинара. В какой-то момент обнаружил, что уже есть рассылка с похожим дайджестом от инженера из бигтеха — Sumit Kumar’а. Мы с ним независимо продолжали делать эти рассылки (я — сначала для яндексоидов, потом для вас; а Sumit — для всех). Интересно было наблюдать, что они получались довольно разными. В итоге я писать дайджесты перестал, а Sumit вот все еще продолжает.

Статья про logQ попала в прошлый дайджест Sumit’а, а статья про Аргуса — в текущий, причем аж на первое место, что особенно приятно :) Забавно наблюдать, что на четвертом месте — статья с почти таким же названием от ByteDance.

А еще когда-то давно у меня уже была отчаянная попытка начать писать статьи про рекомендашки — тогда я описал наше первое внедрение трансформера в Маркет. На конференцию статья не прошла, а вот в Substack Sumit’а попала — и это было хорошим утешительным призом :) Статья была не очень хорошо написана (я тогда еще не умел писать статьи, особенно на английском), а вот доклад на Датафесте вышел очень даже неплохой. По ощущениям, именно с него началось мое влияние на рекомендательную индустрию вне Яндекса.

Sumit, кстати, на канал подписан и даже когда-то что-то комментировал. Если ты это читаешь — привет и спасибо :)

Если не успеваете листать архив и вам не хватает дайджестов — подписывайтесь на RecSys Substack Sumit’а. Ссылочка

Интересно, что у Google в этом году нет ни одной статьи в research-треке, а вот в industry — целых девять (с аффилиацией Дипмайнда — три).

В прошлом году была одна research long, три research short (две с дипмайндом), и семь статей в industry-треке (пять — с дипмайндом).

У остальных компаний присутствие нормальное: Pinterest, Spotify, Amazon, Walmart, eBay, JD.com, Meituan, Alibaba, LinkedIn, Apple, Netflix, Deezer, ByteDance, Kuaishou — все здесь. И Yandex :) Из русских компаний еще есть Сбер

Ну а вообще, надо будет не на количество смотреть, а на качество. Лучше одна импактная статья, чем десять, которые забудут примерно сразу.

https://recsys.acm.org/recsys25/accepted-contributions/#content-tab-1-0-tab программу список статей на РекСис опубликовали.
Много всего интересного, и многие статьи уже доступны на arxiv.

Тут некий энтузиаст сматчил профили на Spotify с известными личностями, включая Суцкевера. Я зашел посмотреть на его плейлист — там Eminem, Muse, Metallica, много классики (Шопен, Бах, Вивальди), и, внезапно, “Полковнику никто не пишет” от Би-2 =)

А у меня сегодня последний день в Яндексе!

Я вышел в Яндекс сразу после окончания магистратуры, в сентябре 2020-го. Сам я хотел заниматься NLP и про рекомендашки почти ничего не знал. Но каким-то абсолютно случайным образом оказался в гуще нейросетевой рекомендательной активности Яндекса — меня наняли в проект, целью которого было сделать первый трансформер над историей пользователя для персонализации в Яндексе :)

Так и получилось, что все эти пять лет я был сфокусирован на R&D для рекомендательных систем, с сильным уклоном в нейросети. Изучал яндексовые рекомендательные домены, выбивал профит с помощью нейросетей для кандгена/ранжирования, помогал доводить модели до внедрения, радовался зелёным A/B тестам :) Сначала как IC, потом как “играющий тренер”. Учился у большого количества очень талантливых людей — как быть хорошим инженером, разработчиком, ML-щиком, коллегой, руководителем и так далее.

Цель R&D — улучшать продукты с помощью технологий. Делать внедрения. Это очень инженерная работа с большим фокусом на программирование, работу с данными и инфраструктурой. Мне, например, всегда нравилось заниматься фреймворками и в целом программировать; много времени посвятил тому, чтобы в Яндексе появился хороший и удобный фреймворк для обучения рекомендательных нейросетей. Подробнее о том, чем занималась наша R&D команда в Яндексе, можно почитать в другом посте.

Параллельно с Яндексом я также поступил в аспирантуру, но успешно совмещать не получилось. Хотелось делать крутые научные работы, публиковаться на А/А* — для этого не хватало ни времени, ни навыков. Где-то через год после начала работы в Яндексе появились первые идеи, про что можно было бы написать статью в контексте работы, но руки до этого дошли только еще через два года. Первый блин вышел комом, а последующая попытка была еще через два года (то есть сейчас). Она была успешная, но аспирантура к тому моменту уже “кончилась” =)

Здесь отдельно хочется написать про мое отношение к ресерчу. Мне очень нравится совмещать реальный мир и какую-то математику, теорию. Люблю выцеплять новые знания, формировать интуицию. Участвовать в научном сообществе. Излагать свои мысли в виде текстов и докладов. Преподавать. Читать статьи. И философствовать :) Другими словами, мне нравится заниматься исследованиями, приобретать новые знания, увеличивать общие знания человечества и делиться ими с другими людьми. От успешной публикации статьи на RecSys получил больше радости, чем от любого даже самого зеленого A/B теста :)

А еще хочется немного отдохнуть от довольно быстрого темпа работы в индустрии. Позаниматься здоровьем, попутешествовать, посетить побольше конференций. Сейчас я почти каждый день хожу 10к шагов =) Поактивней заниматься каналом. Знали бы вы, сколько у меня всяких нереализованных идей =) А еще, возможно, кто-то ведет счет, сколько различных постов / видеороликов / подкастов я задолжал. Вообще, очень хочется себя попробовать в YouTube-формате — это что-то среднее между постами в телеграме и выступлениями на конференциях =)

Так вот! Я в ближайшее время выхожу в Академию. Куда конкретно — напишу, как только выйду :) Цель у меня — активно участвовать в международном научном сообществе, писать статьи. Постараться все-таки получить PhD. Мне кажется, можно принести много пользы академическому ресерчу рекомендашек — помочь сделать хорошие бенчмарки, перепридумать стандарты оценки качества моделей (как для ранжирования, так и для кандгена), подсветить фундаментальный академический ресерч, который наиболее полезен в реальном мире. Сконвертировать в статьи все накопившиеся идеи :)

А еще мне предстоит в той же самой академии расширить свои преподавательские практики и сделать целый семестровый рекомендательный курс. Мне будут помогать ребята из моей уже бывшей R&D команды. По результатам шадовского курса мы получили очень положительный фидбек, особенно про “современность” курса. Хочется расширить существующие лекции и добавить кучу новых. Уже собираю новый материал для этого :)

Такие дела! Чувствую себя так, будто еще раз из университета выпустился =)

Новая рубрика на канале — забавные рекомендации :)

RecSys Challenge 2025.

Я уже рассказывал, что в этом году мы заняли четвертое место на RecSys Challenge. В июле подали статью на воркшоп соревнования, который проходит на самой конфе RecSys. Статью приняли! Мы доделали camera-ready версию, и с сегодняшнего дня подробное описание нашего решения можно почитать на arXiv.

От ревьюверов есть strong accept и комментарий “goldmine of practical insights” :)

Пригодится как разработчикам рексистем, так и участникам всевозможных соревнований по рекомендашкам.

Ссылочка — https://arxiv.org/abs/2508.06970

Продолжаем новую рубрику =)

Наконец-то добрался написать про RecSys Challenge 2025, в котором мне посчастливилось поучаствовать вместе с R&D-командой по рекомендательным системам Яндекса: Серёжей Макеевым, Владимиром Байкаловым, Алексеем Красильниковым, Владом Тыцким и Кириллом Хрыльченко. Отдельно хочется выделить Серёжу Макеева — он сражался как лев, особенно в последнюю неделю перед первым дедлайном и ещё 5 дней перед вторым. (Ага, не так страшны первые 90% проекта, как вторые)

Для тех, кто не в курсе: RecSys Challenge — это соревнование по рекомендательным системам, приуроченное к конференции RecSys 2025. В далёком 2015 году команда из Yandex Data Factory, в составе которой был Евгений Соколов, уже выигрывала это соревнование, так что мы в целом были настроены на победу тоже. Наше решение — ансамбль разных нейросетевых моделей плюс хендкрафт-фичи. Собственно, за хендкрафт отвечал я. Забавный факт: даже в нейросетевую эру хендкрафт всё ещё приносит ощутимый профит. Про это, конечно, рассказывали на лекциях ШАД по RecSys, но я не верил и как обычно плохо слушал. Теперь верю.

Соревнование продлили дважды: сначала с 10 июля по 25 июля — из-за дата-лика, потом ещё — с 25 по 30 июля. К последнему продлению я даже приложил руку. Да-да, именно я заставил коллег делать по 8 сабмитов в день на выходных. За несколько недель до конца соревнования заметил, что при локальном эвале по первой задаче метрика иногда улетает в небеса. При внимательном анализе оказалось, что метрики, по которым пересчитывается лидерборд, изредка считались на нулевой эпохе — то есть на случайно инициализированной нейросети — и тогда по первой задаче выскакивали аномально большие значения. На самом лидерборде такого поведения не было видно на тот момент — я успокоился и забил. Но за два дня до дедлайна в системе появились несколько посылок с невероятно высоким скором по первой задаче. Написал оргам 24 июля, те за день до дедлайна — они признали факап и пересчитали решения конкурентов. За это время мы ещё успели чуть-чуть поднять метрики. Наступил дедлайн, система перестала принимать сабмишены, игроки опубликовали топовые решения, которые до этого не светились на лидерборде, — и мы оказались на 4-м месте. Тут орги решили, что их мув с пересчетом решений за один день до дедлайна не совсем честный, и продлили дедлайн на 5 дней и увеличили число сабмишенов в день 🤡. У нас реально появился шанс залететь в призы, мы снова включились в работу, улучшили общий скор, но всё равно остались четвёртыми.

P.S. Второе место заняла команда из Сбера (ai_lab_recsys). Вот разбор их решения: https://vkvideo.ru/playlist/-229792778_-2/video-229792778_456239026?from=groups&gid=229792778.

В преддверии ACM RecSys 2025 решил устроить маленькое путешествие по Европе:
* 6 — 14 сентября: Венгрия (Будапешт)
* 14 — 20 сентября: Австрия (Вена)
* 20 — 27 сентября: Чехия (Прага)

В Чехии пройдет сама конференция, а в Австрии мы с ребятами посетим RecSys Summer School. Темы лекций выглядят интересно, постараюсь осветить на канале. Если окажетесь в этих же городах в те же даты — пишите в личку. Соберём первую мини-сходку канала :)

К поездке готов:

1. Послушал курс A History of Eastern Europe от Gabriel Liulevicius на Audible.

2. Прошёл игру Kingdome Come: Deliverance, действия которой разворачиваются в средневековой Чехии.

Осталось Отель “Гранд Будапешт” пересмотреть =)

Был сегодня на рексис митапе от vk. Что обсуждали в кулуарах:

* если слишком часто обучать ALS’ы, будут сниться айтемные пространства
* в ламоде делают свой миксиджен, и вообще рексис на подъеме
* круто заниматься рекомендациями в продуктах, в которых много пользователей и рекомендации являются ключевой фичой
* R&D гораздо лучше делается, когда идеи идут bottom up
* публикации лучше зеленых аб тестов
* наши статьи (Аргуса хвалили, logQ прожаривали)
* французы плохо дают визы
* уже совсем скоро за нас LLM’ки будут писать весь код
* шахматы, Каро-канн, фианкетирование за белых (спросили есть ли у меня любимый дебют — с гордостью ответил, что Каро-канн)
* ресерч становится все популярней в рексис индустрии

#recsys #dataset #news
VK-LSVD: Large Short-Video Dataset

Особенный домен
Я пришел в RecSys из CV, где публичным бенчмаркам можно было доверять: результаты из научных статей хорошо коррелировали с продом. Поэтому, возглавив RecSys R&D, я предложил стратегию экспериментов с SotA моделями из академических статей, но практически на все предложения услышал: “уже пробовали, на нашем масштабе прироста нет”.

Различия в методах валидации и доступности данных в академии и индустрии оказались внушительными. И хотя сейчас ситуация чуть лучше, RecSys всё ещё сильно отстаёт от CV/NLP.

Что предлагает сообщество?
Многие из выкладываемых датасетов содержат только то, что можно спарсить самостоятельно (например, отзывы и контент, как в Amazon Reviews, MovieLens или MicroLens). Однако ключевые сигналы для рекомендаций индустриальные системы получают вовсе не из отзывов.

Netflix, сильно забустивший индустрию, после знаменитого соревнования погряз в судебных процессах и перестал публиковать свои данные.

Интересные датасеты выкладывают Tencent (Tenrec) и Kuaishou (KuaiRec). Но несмотря на сотни миллионов DAU их сервисов, эти данные все еще очень далеки от индустриальных масштабов.

Что решил сделать я?
Я опубликовал самый близкий к индустриальным масштабам рекомендательный датасет VK-LSVD с 40В взаимодействий. Второй по размеру сейчас MLHD с 27B взаимодействий, а замыкает тройку свежая Yambda на 4.79B записей логов.

Ключевые отличия VK-LSVD
40B взаимодействий. Упорядоченные по времени данные за 6 месяцев, которые включают и просто показы без реакций.
7 видов фидбека. Кроме привычного таймспента есть лайки, открытия комментов, шэры, закладки, дизлайки, клики на автора.
3 вида контекста. Место взаимодействия (лента, поиск, группы,…), платформа (десктоп, тв, смартфон,…), агент (тип браузера, клиента в приложении,…).
20M айтемов. Для каждого клипа известен автор, длительность и контентный эмбеддинг (недавно рассказывали, как их варим).
10M пользователей. С возрастом, полом и гео.
Кастомный сабсемплинг. В индустрии часто приходится решать задачу согласованности оффлайн-метрик с онлайн-результатами для ускорения проверки гипотез. Академия может помочь нам с исследованием стратегий семплинга, результаты которых хорошо соотносятся с метриками на больших выборках.

Почему именно клипы?
В работе мне доступно много форматов (от музыки до знакомств), но именно клипы выглядят самыми подходящими для бенчмаркинга.

Во-первых, в один момент времени на экран помещается один клип, что сильно упрощает атрибуцию фидбека: скип в клипах более осознанный сигнал, чем на витрине из 9 длинных видео, часть которых пользователь даже не заметил.

Во-вторых, в этом формате практически отсутствует фоновое потребление, которое добавляет шум в других видах контента: например в музыке, действительно ли дослушанный пятый из десяти трек в сессии это позитивный сигнал?

В-третьих, удобный интерфейс и десятки просмотров за сессию дают системе много фидбэка.

Все это повышает точность оффлайн-оценки алгоритмов и позволяет добиваться лучшей корреляции с онлайном. Кроме того, выводы, полученные на клипах, хорошо обобщаются и на другие форматы (что мы наблюдали с DB&NWT).

Что дальше?
Датасет готов к вашим экспериментам, впереди еще статья и масштабное соревнование, так что stay tuned.

@ds_league