Как прошёл первый день NeurIPS 2025 в США

Пока все набираются сил перед новыми воркшопами и докладами, исследователь Yandex Research Роман Гарипов делится впечатлениями о том, как прошёл первый день конференции в Сан-Диего.

После очереди на регистрацию мы направились на туториал Human-AI Alignment: Foundations, Methods, Practice, and Challenges. Провёл его Yoshua Bengio, один из отцов Deep Learning.

Потом было ещё несколько интересных выступлений:

🔴 про бенчмарки для reasoning, которые требуют робастности к минимальному изменению промпта,
🔴 про алайнмент от людей из академии, frontier ai labs и Bengio,
🔴 туториал по scaling test time compute/parallel reasoning от Beidi Chen/Zhuoming Chen из CMU и других.

На стендах компаний и университетов я успел пообщатся с профессорами из Канады, в том числе Mila (research institute). Все они охотно включались в обсуждения и делились своим взглядом на область. Ещё было много трейдеров из крупных фондов.

Закончился день на вечеринке от Together AI. Там собрались коллеги из Nvidia, Сerebras Systems, Google DeepMind, Snapchat и других известных компаний. Понетворкались, приятно удивило, что в Together AI хорошо знают Яндекс и Высшую школу экономики.

Как дела в Мексике — на второй площадке NeurIPS 2025 — читайте в канале CV Time.

#YaNeurIPS25

ML Underhood

Порция интересного с NeurIPS 2025

Конференция продолжает греметь в Сан-Диего — и в дело вступают постеры. Разные и любопытные.

Scalable In-context Ranking with Generative Models

С развитием LLM всё чаще рассказывают об успешных подходах с использованием больших текстовых моделей для ранжирования документов под запрос или пользователя. У LLM уже хорошо сложена интуиция о том, какие документы подходят для решения пользовательской задачи по её описанию. Файнтюн помогает доучить модель под нужную область на небольшом наборе данных — это простой способ получить большую рекомендательную модель.

Авторы статьи изучили аттеншн-карты и увидели, что в таких задачах LLM обычно смотрит либо на промпт/контекст, либо на токены внутри документа. Взаимодействия между разными документами практически не происходит (или происходит внутри токенов контекста). Поэтому инженеры с помощью маски на файнтюне смогли оптимизировать аттеншн до линейной сложности без потери качества, не испортив претрейн.

Corrector Sampling in Language Models

Очень простая в исполнении идея. Авторы утверждают, что увеличивают качество на сложных бенчмарках на 10%. В обычном NTP-инференсе модель всегда предсказывает следующий токен при учёте контекста. Обратного влияния не существует — если в будущем модель поймёт, что токен был неправильный, то исправить его не сможет.

В статье предлагают RPT (Resample-Previous-Tokens). Во время обучения с вероятностью q токен перемещается на k позиций вперёд. Обучив такую модель, во время инференса мы можем делать два предикта: обычный NTP и RPT (токен на позиции x от модели; показываем ей токены до и после и просим восстановить токен на позиции x). На каждой итерации модель может дописать новый токен и исправить предыдущий.

TabDPT: Scaling Tabular Foundation Models on Real Data

Авторы пробуют обучать tabular foundation model. Взяли много табличных задач, представили строку с фичами как последовательность и обучили трансформер на классические претрейн-задачи (восстановить фичу по другим, угадать таргет, ретривал на похожие строки и так далее). Утверждается, что такая модель хорошо скейлится по параметрам (качество растёт при увеличении модели) и легко адаптируется к новым задачам в few-shot-режиме без дообучения. Показывают высокие результаты на публичных лидербордах.

Интересное увидел ❣ Максим Кузин

*компания Meta признана экстремистской, её деятельность в России запрещена.

#YaNeurIPS25

ML Underhood

🤖 Был бы ты человек, этот пост был бы не о тебе

Ну какая ML-конференция без крутых роботов? Вот и американскую NeurIPS 2025 они посетили. В программе:

🦾 Роботизированная рука Tesla, с которой не хочется соревноваться в армрестлинге.

🦾 Та же самая роботизированная рука Tesla, с которой по-прежнему не хочется соревноваться, но которая выглядит парадно.

🤖 Робот-бариста Turing Robot, которому хочется отдать все чаевые в мире.

🛰 Бонус: архитектурные излишества с кубриковским вайбом, который I'm sorry Dave, I'm afraid I can't do that.

#YaNeurIPS25

ML Underhood