ACM RecSys’25, день четвертый.

Сегодня в рамках гугловского симпозиума (это что-то типа мини-сессии от конкретного спонсора на конференции) было очередное выступление от Эда Чи и панельная дискуссия с Эдом, Lichan Hong’ом (это тимлид одной из команд Эда; эта команда занимается LLM x RecSys, например, семантическими айдишниками) и инженерами Ютуба (включая Лукаса, выступавшего на large recsys воркшопе два года назад — см пост).

Доклад был очень похож на прошлогодний (см пост), даже шутки повторялись:
* опять рассказал, как в девяностых сказал научнику (John Riedl), что делать рекомендации для пользователей на основе матрицы user-item фидбека — глупая затея (просчитался, но где)
* опять упомянул, что наработки его команды приносят Гуглу 10 млрд ежегодно, и пошутил, что надо было просить долю вместо зарплаты, когда выходил на работу
* опять упомянул, что один из трех авторов оригинальной seq-to-seq работы (наряду с Суцкевером и Oriol Vinyals) — ресерчер из его команды, Quoc V. Le
* много времени посвятил термину transduction — что он значит (в физике), почему transformer называется transformer
* показал какую-то новую демку Project Astra, на которой мужик чинит велосипед и гладит собаку
* опять говорил про акции. Спросил, купил ли кто-нибудь в аудитории в 2015 году акций NVIDIA на 5000 долларов, нашелся один человек; попросил его купить всем по пиву

Сказал, что мы (рекомендательные инженеры) занимаемся ранжированием, и что ранжирование — это просто сортировка. Что мы все зарабатываем на жизнь с помощью сортировки :)

Еще рассказал, что выход в свет ChatGPT в ноябре 22-го года заставил их срочно выпускать своего чатбота. Что они и так чем-то подобным занимались (долгие годы к этому шли), но выход чатгпт не оставил им возможности аккуратно проресерчить все риски и потенциальные последствия релиза такой технологии. Что через неделю после выхода чатгпт была встреча с Сундаром (CEO Гугла), на которой было много Senior VP и были очень-очень жаркие дискуссии. Сказал, что “OpenAI выпустили джина из бутылки”.

Было чуть-чуть про монетизацию. Что конечно же будут встраивать рекламу; не хочешь рекламу — плати за подписку.

Сказал, что думает, что нормальные квантовые компьютеры появятся в лучшем случае через 10 лет, раньше их ждать не стоит. Но если вдруг появятся — надо срочно продавать все акции =)

На прямой вопрос про потенциальный вред от AI технологий сказал, что мы хотим IA (intelligence augmentation), а не AI. Чтобы нам помогали думать, а не думали вместо нас (звучит почти как тавтология).

Во время конференции также выпала возможность пообщаться с Lichan’ом (тем самым тимлидом LLM x RecSys команды), и видно, что они очень сильно верят в свой подход, когда тюнят LLM на рекомендации. Почти дословная цитата: “моя команда 10 лет занималась дип лернингом для рекомендаций, а теперь мы уже два года делаем LLM, потому что верим, что за этим подходом будущее”.

Еще на панельной дискуссии Эд упомянул, что Lichan вчера попросил его посмотреть манускрипт с новой статьей про семантические айдишники. Видимо, он сначала пообещал нам выпустить новую статью в ближайшие две недели, и сразу пошел ее доделывать =)

P.S: знакомый из Гугла меня своим коллегам представляет как “автора той самой статьи про LogQ”. Теперь я официально амбассадор LogQ-коррекции. Если на вашей вечеринке нужно про нее рассказать — зовите :)

PLUM: Adapting Pre-trained Language Models for Industrial-scale Generative Recommendations.

А вот и обещанная новая статья про семантические айдишники от Google. Много подробностей про то, как подружить LLM и рекомендательные системы; на примере прода Ютуба.

1. Улучшили семантические айдишники:
* теперь семантический энкодер принимает на вход не единое векторное представление айтема, а “мультимодальное” — несколько векторов, соответствующих разным контентным сигналам (модальностям), e.g. отдельный вектор для названия, описания, видео и тд (здесь конкретики по модальностям нет, я чуть фантазирую)
* multi-resolution codebook — раньше у них был один общий кодбук на все шаги генерации семантических айдишников. Теперь утверждают, что на каждом новом шагу генерации нужно кодировать “остаточную” энтропию с прошлых шагов, поэтому можно на каждом уровне уменьшать размер используемого кодбука
* progressive masking — при обучении RQ-VAE случайным образом маскируют хвост семантических айдишников, то есть больше фокусируются на ранних уровнях айдишников. Утверждают, что таким образом форсится более сильная иерархичность айдишников
* добавили contrastive learning на со-встречаемость айтемов — сближают айтемы, которые встречаются рядом в истории пользователя. То есть теперь при обучении RQ-VAE учитывается коллаборативный сигнал

2. Описали CPT (continuous pre-training) стадию:
* стартуют с предобученной LLM (Gemini)
* половину датасета строят из behavioral данных — последовательностей просмотров пользователей (и, видимо, предсказывают следующий просмотр)
* вторую половину — из метаданных айтемов (задачи а-ля ‘У видео <sid> следующее название: <название>’)
* по мере обучения смотрят и как растет качество рекомендаций (первая задача), и насколько хорошо модель восстанавливает метаданные (вторая задача), и как сильно деградируют способности естественного языка модели

3. Есть и третья, SFT (supervised fine-tuning) стадия:
* подают на вход модели watch history | user features | context features
* учат ее в ответ генерировать семантические айдишники нужного айтема
* учатся не на всех айтемах, а как-то сэмплируют их исходя из награды (фидбека пользователя), и еще взвешивают лосс на этот фидбек

4. Про прод:
* используют модель для генерации кандидатов
* используют beam search; говорят, что он по качеству лучше чем случайное декодирование, но теряет в разнообразии (логично)
* модель дообучают; говорят, что модель гораздо более sample efficient, чем их прошлое поколение — ежедневно используют для дообучения 250 млн сэмплов, когда прошлые модели использовали миллиарды
* длина контекста — 1500 токенов, что примерно соответствует сотне последних просмотров пользователя
* в A/B тесте добавили свою модель как новый источник кандидатов, сравниваются с контролем, в котором увеличили количество кандидатов (чтобы оно было равное в обеих группах) — показывают приросты по метрикам и для шортсов, и для обычных YouTube видеороликов
* их прошлая флагманская продовая модель — трансформер над историей пользователя. Когда ее упоминают, ссылаются на Top-K REINFORCE работу (в которой был RNN-based генератор кандидатов)

Что еще могу выделить:
* проверили скейлинг модели, но по-умному — зафиксировали бюджет на compute и смотрели какого размера модель выгодней взять; получилось, что 900M выгодней 3B
* инициализация модели с LLM-чекпойнта (с Gemini) докидывает не очень много качества. НО: добавляет few-shot способности — в конце статьи есть пара примеров, когда модель отвечает на вопросы, на которые ее не учили, в стиле “а какая тема у <sid>”. Модель без LLM претрейна такое не умеет
* в related work цитируют OneRec как пример работы с семантическими айдишниками
* длина истории конечно все еще очень маленькая, 100 событий. Это подозрительно. Я на RecSys подходил и спрашивал про это, Lichan Hong ответил что-то типа “у нас есть модели и с большой длиной истории”. Но статьи они что-то про них не пишут :)

Введение в рексистемы.

Сегодня прочитал студентам первого курса ПМИ ФКН ВШЭ вводную лекцию по рекомендательным системам.

Раньше никогда не делал такие вводные лекции — обычно ограничивался парой слайдов в начале каждого доклада в духе "есть множество пользователей, множество айтемов, информационная перегрузка, хотим рекомендации".

Здесь же выпала возможность максимально подробно рассказать, зачем нужны рекомендательные системы, а также показать пару простых, интуитивно понятных рекомендательных алгоритмов.

Так как лекция была для первокурсников, в ней было больше картинок и меньше математики :)

Прикладываю в посте пару слайдов, сама презентация — в комментариях.