Я простоял у постера 7 часов. Людей было очень много! Кто-то даже подходил со словами, что уже прочитал статью до конференции. В целом я очень доволен, больше рассказывать сегодня нечего :)

Пожалуй, пока для меня это самый крутой момент конференции. Теперь цель — повторить =)

Было довольно забавно говорить ребятам из Гугла что-то в духе “у вас logQ коррекция устарела” :)

ACM RecSys’25, день третий.

1. Утром был keynote от Jure Lescovec, известного специалиста по графовым моделям и одного из авторов GraphSAGE / PinSAGE. Рассказывал про свой стартап kumo.ai; про модель, которую делают — RFM (Relational Foundation Model). Эта модель позволяет взять произвольный набор табличек бизнеса (по сути реляционную бд), построить на их основе граф, затем предсказать какие-то новые ребра в этом графе, либо что-то классифицировать по вершинам. Причём делается это in-context learning’ом, без дообучения модели на графе. Вроде говорят, что прожевывают “billions of records”, но при этом используют pandas, чтобы манипулировать таблицами в оперативной памяти (что в 2025-м году уже нелегально). Под капотом то ли просто многоголовый аттеншн, то ли полноценный трансформер. Графовые данные и in-context примеры как-то преобразуются, “токенизируются”, чтобы можно было подать в трансформер. Еще, из интересного — есть целый предиктивный язык, похожий на SQL, в стиле “PREDICT NEXT(order) FOR users IN (1, 2, 3)”.

Что не понравилось — так это бенчмарки. Они выглядели как попытка продать что-то инвесторам. Рекомендательный бенчмарк, например, выглядел супер невнятно — взяли для сравнения LightGBM, GraphSAGE, NFBNet. Датасеты тоже непонятные (но зато был датасет от avito :) ). Ах да, потом еще выясняется что их RFM модельку файнтюнить все-таки можно, и от этого качество существенно растет. В общем, чувства от доклада немного смешанные =) Еще в related work был небольшой омаж Tabular Foundation Models.

2. Это был день индустриальных статей, на котором было много интересных постеров. Все мои знакомые, павшие духом после первых двух дней конференций, воспряли :) Мне, правда, и от ресерч работ, и от индустрии сильно не хватило фундаментальности. Почти все, что делается (за исключением части RL работ) — выглядит не слишком значительным.

Так как я в прошлом году больше всего активничал именно на индустриальных работах, у меня осталось много знакомых из индустрии. Сегодня кучу из них встретил. Знаете, есть такое ощущение, когда давно не видел человека и хорошо его помнишь, но не уверен, помнит ли он тебя :) Так вот — все помнят!

3. После просмотра постеров я заметил, что их меньше, чем слотов. И решил повесить свой еще раз =) В итоге я еще часа 3-4 простоял с постером сегодня, удалось где-то 10-15 человек посвятить в наши наработки :) Еще один человек, прочитавший нашу статью до конференции, сослался на мой пост на реддите. Он не выглядит популярным, но тем не менее тоже сработал. Если хотите, чтобы ваша работа получила максимальный охват, нужно пользоваться всеми доступными социальными сетями — это совсем не бесполезный труд, даже если на первый взгляд может так показаться.

4. На RecSys традиционно есть social dinner, после которого ночью люди обычно самоорганизуются и идут на караоке. В прошлом году я про караоке не знал и ушел рано, а в этом до него таки добрался. В результате были спеты Creep (Radiohead), Yesterday (Beatles), Do I Wanna Know (Arctic Monkeys), Where Is My Mind (Pixies). Еще кто-то Viva la Vida (Coldplay) заказал, а петь не стал, пришлось помогать… В общем, домой я добрался где-то в 3:30 =)

P.S: напоследок немного инсайдов — следующий RecSys будет в Миннесоте, город Миннеаполис. Будет трудно туда попасть :( И про RecSys, который будет через два года, у меня есть похожая инфа, что он будет в Штатах (если интересно где — ищите сериал White Lotus).

А еще, вроде как ребята из Дипмайнда через пару недель должны дропнуть новую статью про семантические айдишники!

Кстати, на прошлом RecSys их коллеги из соседней команды тизерили DCN-v3 и даже DCN-v4, а статей про них что-то нет — подозрительно?)

ACM RecSys’25, день четвертый.

Сегодня в рамках гугловского симпозиума (это что-то типа мини-сессии от конкретного спонсора на конференции) было очередное выступление от Эда Чи и панельная дискуссия с Эдом, Lichan Hong’ом (это тимлид одной из команд Эда; эта команда занимается LLM x RecSys, например, семантическими айдишниками) и инженерами Ютуба (включая Лукаса, выступавшего на large recsys воркшопе два года назад — см пост).

Доклад был очень похож на прошлогодний (см пост), даже шутки повторялись:
* опять рассказал, как в девяностых сказал научнику (John Riedl), что делать рекомендации для пользователей на основе матрицы user-item фидбека — глупая затея (просчитался, но где)
* опять упомянул, что наработки его команды приносят Гуглу 10 млрд ежегодно, и пошутил, что надо было просить долю вместо зарплаты, когда выходил на работу
* опять упомянул, что один из трех авторов оригинальной seq-to-seq работы (наряду с Суцкевером и Oriol Vinyals) — ресерчер из его команды, Quoc V. Le
* много времени посвятил термину transduction — что он значит (в физике), почему transformer называется transformer
* показал какую-то новую демку Project Astra, на которой мужик чинит велосипед и гладит собаку
* опять говорил про акции. Спросил, купил ли кто-нибудь в аудитории в 2015 году акций NVIDIA на 5000 долларов, нашелся один человек; попросил его купить всем по пиву

Сказал, что мы (рекомендательные инженеры) занимаемся ранжированием, и что ранжирование — это просто сортировка. Что мы все зарабатываем на жизнь с помощью сортировки :)

Еще рассказал, что выход в свет ChatGPT в ноябре 22-го года заставил их срочно выпускать своего чатбота. Что они и так чем-то подобным занимались (долгие годы к этому шли), но выход чатгпт не оставил им возможности аккуратно проресерчить все риски и потенциальные последствия релиза такой технологии. Что через неделю после выхода чатгпт была встреча с Сундаром (CEO Гугла), на которой было много Senior VP и были очень-очень жаркие дискуссии. Сказал, что “OpenAI выпустили джина из бутылки”.

Было чуть-чуть про монетизацию. Что конечно же будут встраивать рекламу; не хочешь рекламу — плати за подписку.

Сказал, что думает, что нормальные квантовые компьютеры появятся в лучшем случае через 10 лет, раньше их ждать не стоит. Но если вдруг появятся — надо срочно продавать все акции =)

На прямой вопрос про потенциальный вред от AI технологий сказал, что мы хотим IA (intelligence augmentation), а не AI. Чтобы нам помогали думать, а не думали вместо нас (звучит почти как тавтология).

Во время конференции также выпала возможность пообщаться с Lichan’ом (тем самым тимлидом LLM x RecSys команды), и видно, что они очень сильно верят в свой подход, когда тюнят LLM на рекомендации. Почти дословная цитата: “моя команда 10 лет занималась дип лернингом для рекомендаций, а теперь мы уже два года делаем LLM, потому что верим, что за этим подходом будущее”.

Еще на панельной дискуссии Эд упомянул, что Lichan вчера попросил его посмотреть манускрипт с новой статьей про семантические айдишники. Видимо, он сначала пообещал нам выпустить новую статью в ближайшие две недели, и сразу пошел ее доделывать =)

P.S: знакомый из Гугла меня своим коллегам представляет как “автора той самой статьи про LogQ”. Теперь я официально амбассадор LogQ-коррекции. Если на вашей вечеринке нужно про нее рассказать — зовите :)