KDD’26, день третий.

1. Keynote от Джеффа Дина. Это один из гигантов области ИИ, стоящий у истоков большого числа различных исследований и разработок Гугла, которыми мы все с вами пользуемся. Он буквально придумал MapReduce, TPU, tensorflow, был соавтором word2vec, mixture of experts, knowledge дистилляции; делал первый нейросетевой машинный перевод. В последние годы лидил разработку Gemini. У него 426490 цитирований на google scholar.

Пока текущий кейноут не залили на ютуб, можете посмотреть как в 2014 году он выступал на ACM RecSys с кейноутом Large Scale Machine Learning for Predictive Tasks.

Сначала сегодня был экскурс в его основные околонейросетевые работы, часть которых я упомянул выше. Забавные факты:
* в своей дипломной работе из 90-х он уже занимался нейросетями — скейлил обучение до 32-х процессоров. Потом продолжил тем же самым заниматься в Гугле :)
* статью про knowledge distillation (которая с Хинтоном в соавторах) — реджектнули на NeurIPS со словами “это никому никогда не понадобится”))

Затем рассказывал про свой уход из Гугла — как объявлял на всю компанию что уходит; что очень много людей пришли на прощальную вечеринку, все не поместились в Гугл кафешке; что было очень много прощальных писем, он пытался на них все ответить, но не получалось, но он пытался, но не получалось... Сходил на йогу, поиграл в футбол, уволился.

И, наконец, рассказал про свою новую компанию Discovery Loop:
* основная идея — автоматизация типичного экспериментального пайплайна “propose experiment -> implement and run -> evaluate”
* К вопросу подходят масштабно — предполагается, что запускаться будет очень большое количество экспериментов, их результаты (и отрицательные, и положительные) будут использоваться агентами на следующих итерациях экспериментов. Ожидается, что при должном масштабировании это приведет к большому количеству научных прорывов
* Сначала фокусируются на digital областях, в которых эксперименты не требуют доступа к физическому миру
* Приводил как пример масштабного запуска экспериментов разработку Gemini, в которой одновременно принимали участие тысячи людей и мерджили результаты экспериментов в единую модель

Еще было немного про кодинг:
* сейчас происходит переход на следующий, еще больше верхнеуровневый этап программирования: ассемблер, C++, Python, а теперь — делегирование задач агентам
* по мнению Джеффа, агенты нас не заменят, а сделают продуктивней (ага, ага)

2. Вообще, сегодня я хорошенько прочувствовал, что агенты становятся основным трендом в рекомендательных технологиях. Семантические айдишники и генеративные рекомендации, конечно, это все еще очень горячая тема, про которую большие компании трубят из каждого угла; но уже появилось четкое ощущение, что самые передовые ребята занимаются агентами, а большие компании просто как всегда не поспевают за прогрессом.

Чуть более конкретно:
* пообщался с Derek Chеng (руководителем команды в Google DeepMind, в которой придумали DCN-v2). Раньше его команда помогала различным сервисам Гугла (в первую очередь рекламе) делать рекомендательные технологии — придумывали архитектуры нейросетей, работали над эффективностью, etc. А теперь они делают агента, который их заменит)) Буквально занимаются посттрейном LLM
* Артёму @nxt_item стажер из команды onerec-think/onereason Куайшоу сказал, что сейчас у них половина команды занимается проектом Агент X, суть которого буквально такая же — создать ИИ ресерчера, который их заменит

В общем, тренды страшные. Мы все призадумались; на постерной сессии полчаса стояли в кружке и пытались осмыслить надвигающийся экзистенциальный кризис. Если еще посты Игоря @seeallochnaya про ситуацию с OpenAI агентами почитать, то совсем страшно.

3. Также сегодня была вторая постерная сессия (вчера industry track, сегодня research), ее я провел в основном возле статьи A Unified Language Model for Large Scale Search, Recommendation, and Reasoning от Spotify, про которую в этом году уже даже на лекциях рассказывал!)

На этом всё. Следующий пост за меня будет писать агент

KDD’26, день четвертый.

Сегодня в основном вел закулисные разговоры, про которые не могу ничего рассказать. А вот про что могу:

1. Доклад от команды YouTube и GDM. Судя по всему, у них прям очень жестко цензурируются любые рассказы наружу, ничего лишнего упоминать нельзя, поэтому они придерживаются формата пересказа уже опубликованных статей.

Держите еще одно название для кандгена — nomination. А преранжирование — prescoring. А группировку айтемов в выдачу в докладе нарекли packing.

В рамках доклада выступало четыре человека. Сначала был рассказ про knowledge distillation в ранжировании:
* упоминали две свои более старые работы — Bridging the Gap: Unpacking the Hidden Challenges in Knowledge Distillation for Online Ranking Systems и Zero-shot Cross-domain Knowledge Distillation: A Case study on YouTube Music
* и как раз на KDD’26 у них вышла новая статья — Addressing Intent Dissonance in Cross-Domain Distillation on YouTube. Кто первый прочитает, напишите в комментариях что там :)

Затем был раздел про анализ последовательностей:
* упоминали нашу любимую Top-K Off-Policy Correction for a REINFORCE Recommender System, а также оригинальный YoutubeDNN, в котором впервые предложили next watch prediction
* затем показали свою новую работу ClockRoPE: Random Fourier Rotations for Temporal Routine Modeling, в которой, как я понял, сделали time-aware RoPE, то есть учли время при анализе последовательности
* и еще одну новую работу Tokens are All You Need: Dual-purpose Semantic IDs for Achieving LLM-Level I/O Efficiency in recommendation systems. Заменили в рекомендательной нейросети эмбеддинги на семантические айдишники

Потом говорили про LLM x RecSys:
* упомянули TIGER, а также статью про semantic IDs для ранжирования в YouTube, PLUM, STATIC
* Token Factory: Efficiently Integrating Diverse Signals into Large Recommendation Models. Заменили в LLM семантические айдишники на эмбеддинги :)
* LLM-Based User Personas for Recommendations at Scale. Используют LLM для exploration с помощью генерации новых для пользователя интересов
* TokenMinds: Pretrained User Tokens and Embeddings for User Understanding in Large Recommender Systems. Делают семантический айдишник пользователя. У меня в этом году студент такую дипломную работу в бакалавриате вышки защитил))

Последняя, четвертая секция называлась Gemini Commercial Intelligence:
* это как раз работы команды Derek Cheng, подарившей миру DCN-v2
* как и писал в прошлом посте, делают ИИ-ресерчера, который их заменит (ну и нас тоже, за компанию). Прикладываю статьи ниже
* AgenticTagger: Structured Item Representation for Recommendation with LLM Agents
* PACEvolve: Enabling Long-Horizon Progress-Aware Consistent Evolution
* PACEvolve++: Improving Test-time Learning for Evolutionary Search Agents
* также активно занимаются бенчмарками для этого ИИ-ресерчера. Статья Evo-Memory: Benchmarking LLM Agent Test-time Learning with Self-Evolving Memory
* еще делают модель, которая по набору товаров будет генерировать рекламу, в которой эти товары присутствуют. Звучит немного рандомно, но в тему коммерциализации укладывается

3. Был доклад от Федора Борисюка про эволюцию ранжирования в Линкедине. Подсвечу лишь статью Semantic Search At LinkedIn; вроде как это их главная работа про ранжирование на текущий момент. Федор, как всегда, первый автор :)

Когда прочитал UniPinRec: Unifying Generative Retrieval and Ranking at Pinterest Scale

За шакальное качество мемов извините, делал с планшета))