В X (Twitter) активно предпринимают попытки заменить классическую рекомендательную систему языковой моделью (Grok). Как я понимаю, этот процесс длится уже какое-то время. Судя по твиту, подвижки есть (или нет?). Жаль, что ребята из твиттера статьи не пишут, и мы вероятно не скоро узнаем какие-либо технические подробности этого процесса :)
🔥19🥴12❤8🤡2
Fall into ML 2025.
Вчера был на конференции Fall into ML 2025 в ВШЭ. Познакомился с большим количеством ребят из вышки. Теперь я буду преподавать и заниматься исследованиями на базе ВШЭ, поэтому надо начинать постепенно интегрироваться в местное коммьюнити :)
Атмосфера отличалась от тех конференций, которые я обычно посещаю: здесь она была более научная. Круто, что у наших ребят так много работ на A/A* конференциях.
Почти все время я простоял у постера c нашей статьей про logQ, поэтому нетворкинг был довольно ограниченный. Что обсуждали в кулуарах:
* в Рексис сообществе сейчас турбулентные времена: уходы, переходы, реструктуризации. Тряска почти никого не обошла стороной :)
* зазывал студентов на свой семестровый курс по рексистемам, который буду читать в ВШЭ в новом году. Тизер: название — “Нейросетевые рекомендательные системы”. Пообещал не рассказывать в середине курса про SVD :)
* задавали вопросы про то, по каким темам буду делать исследования. Я поделил их на два типа — что буду делать со студентами, а что сам. Себе я выделил примерно две темы, по которым уже начал что-то делать и уверен, что смогу написать A/A* статьи. Студентам, если что, тоже достанутся хорошие темы :)
* с KDD пришли отзывы по Аргусу — accept, accept, weak accept, weak accept. Notification (решение по принятию статьи на конфу) будет в начале ноябре. Ждём :)
* если есть 10-20 A100 карточек, можно делать почти любой рексис ресерч. Вот с одной 3090 уже приходится ограничивать себя :) Пока что я, например, не могу полноценно заниматься разговорными рексистемами, а руки чешутся :) Буду следить за литературой и складировать идеи.
* в задаче предсказания следующей корзины естественным образом появляется несколько позитивов, поэтому нашу улучшенную logQ коррекцию нужно как-то модифицировать (так как она рассчитана только под один позитив). Хорошая тема для статьи.
* обсуждали, нужно ли применять logQ-коррекцию вне рекомендательного домена — например, для обучения всяких CLIP’ов. Вывод такой, что если хочется учить правильные распределения (соответствующие данным) — нужно.
Вчера был на конференции Fall into ML 2025 в ВШЭ. Познакомился с большим количеством ребят из вышки. Теперь я буду преподавать и заниматься исследованиями на базе ВШЭ, поэтому надо начинать постепенно интегрироваться в местное коммьюнити :)
Атмосфера отличалась от тех конференций, которые я обычно посещаю: здесь она была более научная. Круто, что у наших ребят так много работ на A/A* конференциях.
Почти все время я простоял у постера c нашей статьей про logQ, поэтому нетворкинг был довольно ограниченный. Что обсуждали в кулуарах:
* в Рексис сообществе сейчас турбулентные времена: уходы, переходы, реструктуризации. Тряска почти никого не обошла стороной :)
* зазывал студентов на свой семестровый курс по рексистемам, который буду читать в ВШЭ в новом году. Тизер: название — “Нейросетевые рекомендательные системы”. Пообещал не рассказывать в середине курса про SVD :)
* задавали вопросы про то, по каким темам буду делать исследования. Я поделил их на два типа — что буду делать со студентами, а что сам. Себе я выделил примерно две темы, по которым уже начал что-то делать и уверен, что смогу написать A/A* статьи. Студентам, если что, тоже достанутся хорошие темы :)
* с KDD пришли отзывы по Аргусу — accept, accept, weak accept, weak accept. Notification (решение по принятию статьи на конфу) будет в начале ноябре. Ждём :)
* если есть 10-20 A100 карточек, можно делать почти любой рексис ресерч. Вот с одной 3090 уже приходится ограничивать себя :) Пока что я, например, не могу полноценно заниматься разговорными рексистемами, а руки чешутся :) Буду следить за литературой и складировать идеи.
* в задаче предсказания следующей корзины естественным образом появляется несколько позитивов, поэтому нашу улучшенную logQ коррекцию нужно как-то модифицировать (так как она рассчитана только под один позитив). Хорошая тема для статьи.
* обсуждали, нужно ли применять logQ-коррекцию вне рекомендательного домена — например, для обучения всяких CLIP’ов. Вывод такой, что если хочется учить правильные распределения (соответствующие данным) — нужно.
❤35👍13❤🔥7🔥3👏2
Введение в рексистемы.
Сегодня прочитал студентам первого курса ПМИ ФКН ВШЭ вводную лекцию по рекомендательным системам.
Раньше никогда не делал такие вводные лекции — обычно ограничивался парой слайдов в начале каждого доклада в духе "есть множество пользователей, множество айтемов, информационная перегрузка, хотим рекомендации".
Здесь же выпала возможность максимально подробно рассказать, зачем нужны рекомендательные системы, а также показать пару простых, интуитивно понятных рекомендательных алгоритмов.
Так как лекция была для первокурсников, в ней было больше картинок и меньше математики :)
Прикладываю в посте пару слайдов, сама презентация — в комментариях.
Сегодня прочитал студентам первого курса ПМИ ФКН ВШЭ вводную лекцию по рекомендательным системам.
Раньше никогда не делал такие вводные лекции — обычно ограничивался парой слайдов в начале каждого доклада в духе "есть множество пользователей, множество айтемов, информационная перегрузка, хотим рекомендации".
Здесь же выпала возможность максимально подробно рассказать, зачем нужны рекомендательные системы, а также показать пару простых, интуитивно понятных рекомендательных алгоритмов.
Так как лекция была для первокурсников, в ней было больше картинок и меньше математики :)
Прикладываю в посте пару слайдов, сама презентация — в комментариях.
🔥69❤14👍7✍2👏2
Не могу не поделиться!
Я периодически пытаюсь генерировать полезные иллюстрации к лекциям и докладам, но обычно выходит плохо и непригодно. Приходится делать всё самому и ограничиваться простенькими минималистичными иллюстрациями.
А с помощью новой nanobanana сходу по заметкам к лекции сгенерировалось что-то очень даже прикольное.
Кажется, приближаемся к точке, когда лекции можно будет делать очень быстро :)
Я периодически пытаюсь генерировать полезные иллюстрации к лекциям и докладам, но обычно выходит плохо и непригодно. Приходится делать всё самому и ограничиваться простенькими минималистичными иллюстрациями.
А с помощью новой nanobanana сходу по заметкам к лекции сгенерировалось что-то очень даже прикольное.
Кажется, приближаемся к точке, когда лекции можно будет делать очень быстро :)
🔥40🤮12👎4🤔4😐2❤1
Нейросетевые рекомендательные системы.
А ещё я сегодня прочитал гостевую лекцию про нейросети в рекомендациях в рамках курса Deep Learning 2 на ФКН ВШЭ.
О чём говорили:
1. Зачем нужны рексистемы и как они устроены (слегка переписанный кусочек из моей лекции для первокурсников)
2. Почему в рекомендациях хороши нейросетевые модели
3. Классические нейросетевые архитектуры для генерации кандидатов и ранжирования
4. Frontier: трансформеры, масштабирование, RL, генеративные модели, semantic IDs
К лекции был семинар, который провёл Артём Матвеев — разобрали Unified Embeddings, PLE (Piecewise Linear Encoding) и DCN-v2. Показали, что на Yambda нейросеть выигрывает у катбуста в задаче ранжирования :)
У курса есть Git-репозиторий, куда выкладываются материалы занятий: https://github.com/thecrazymage/DL2_HSE.
Слайды лекции присылаю следующим сообщением; а запись занятия и семинар позже появятся в репозитории.
Курс выглядит прикольно — например, есть лекция про Bitter Lesson от Вани Рубачёва :)
Спасибо Мишану @ne_mishan за приглашение!
А ещё я сегодня прочитал гостевую лекцию про нейросети в рекомендациях в рамках курса Deep Learning 2 на ФКН ВШЭ.
О чём говорили:
1. Зачем нужны рексистемы и как они устроены (слегка переписанный кусочек из моей лекции для первокурсников)
2. Почему в рекомендациях хороши нейросетевые модели
3. Классические нейросетевые архитектуры для генерации кандидатов и ранжирования
4. Frontier: трансформеры, масштабирование, RL, генеративные модели, semantic IDs
К лекции был семинар, который провёл Артём Матвеев — разобрали Unified Embeddings, PLE (Piecewise Linear Encoding) и DCN-v2. Показали, что на Yambda нейросеть выигрывает у катбуста в задаче ранжирования :)
У курса есть Git-репозиторий, куда выкладываются материалы занятий: https://github.com/thecrazymage/DL2_HSE.
Слайды лекции присылаю следующим сообщением; а запись занятия и семинар позже появятся в репозитории.
Курс выглядит прикольно — например, есть лекция про Bitter Lesson от Вани Рубачёва :)
Спасибо Мишану @ne_mishan за приглашение!
🔥43❤6🎉3