Chatbot Arena больше не работает? Вышло исследование "The Leaderboard Illusion", в котором ученые доказали предвзятость всеми любимого рейтинга

Среди авторов – ученые из Cohere, Стэнфорда, Принстона, Ватерлоо, MIT и других вузов с именем. Вот что им удалось выяснить:

➖ Во-первых, у крупных провайдеров появляется нечестное преимущество за счет количества "попыток". На арене есть такая штука, как приватное тестирование. В ходе него можно "анонимно" запустить N версий своей модели (разные гиперпараметры, системные промпты, чекпоинты). При этом результаты этих N версий не появляются на лидерборде: туда отгружается только результат лучшей из них.

На первый взгляд все честно. Но на самом деле тут есть статистическая ошибка. Если из N моделей мы выбираем ту, у которой максимальный Arena Score и публикуем его, то он получается завышенным.

Дело в том, что при "истинном" умении X результаты модели колеблются на X+-Δ. Если мы тестируем одну модель (как это обычно делают мелкие провайдеры), то результат получается средним и отражает истинный X. Но в случае выбора из N моделей мы автоматически выбираем ту, которая больше раз случайно "стрельнула" в сторону завышения способностей, а значит отражаем результат выше, чем X (картинка 2).

В статье ученые даже показали это на реальном эксперименте (картинка 3). Взяли модель и дважды отправили ее на арену по разным путям тестирования. Разница получилась в 17 очков, а это довольно серьезно. При этом чем больше N, тем больше будет этот несправедливый разрыв. А у кого есть ресурсы на кучу тестов? Правильно, только у больших игроков.

➖ Во-вторых, большие игроки получают преимущество за счет ассиметрии количества баттлов (картинка 4). Посмотрите: проприетарные модели получают 54–70% всех диалогов, а значит им и данных достается гораздо больше. А значит, разработчики могут лучше файн-тюниться под арену. И дальше все превращается в снежный ком.

При этом в статье показано, что это переобучение в чистом виде. То есть чем больше мы файнтюним модель под арену, тем она хуже показывает себя на реальных бенчмарках (в статье брали MMLU).

И это уже не говоря о том, что на арене вендоры могут по-тихому удалять свои модели, что тоже портит статистику и влияет на рейтинги.

Значит ли все это, что арена совершенно бесполезная и непрезентативная? Нет, просто нужно переосмыслять концепцию и вводить больше правил и ограничений. В статье, кстати, даже предложили парочку.

Почитать работу полностью можно здесь (а вот тут, кстати, сами разрабы арены написали на нее свою рецензию-ревью)