Новинка от OpenAI случилась, но не та, которую все ждали

Вместо хайповой 🍓 они выпустили… бенчмарк. Тоже хорошее дело, конечно, но все-таки не моделька.

Бенчмарк представляет из себя обновленную версию SWE-bench – самого популярного теста для оценки способностей к программированию. Выяснилось, что он содержит много нерешаемых или неоднозначных задач и, как следствие, недооценивает модели. Это исправили с помощью простой краудсорсинговой кампании.

Случилось все, кстати, как и обещал тот загадочный аккаунт, в 20:00 по мск. Теперь он обещает, что Strawberry выйдет в четверг, а новый банчмарк призван продемонстрировать, насколько она мощная 🙄

⚡️ Вышел Grok 2

Без лишнего шума (в отличие от некоторых) на горизонте появилась новая LLM от Маска. Оказывается, модель тестировалась на Арене под названием sus-column-r, а теперь делит 3 место с ранней версией GPT-4o. Вместе с большой моделью вышел Grok 2 mini.

Со слов Илона, это только цветочки, а ягодки будут, когда на том самом гигантском кластере доучится Grok 3.

P. S. Модель уже доступна премиум юзерам в X, в API обещают завезти в конце месяца.

😭 Bad news: с 9 сентября в России перестанет работать BigQuery от Google

Об отключении платформы для обработки данных сообщила российская компания Softline. Плюс, пользователям уже начали поступать уведомления об отключении.

При этом Google Workspace и Google Cloud продолжат работать.

А теперь к хорошим новостям: Anthropic добавляют Prompt caching в API

Это штука, которая позволяет кешировать промпты, которые используются часто, а не кормить их модели заново при каждом запросе. Другими словами, райская фича для разработчиков 🕺

Теперь для длинных контекстов цену можно снизить до 90% и на 85% ускорить инференс. Причем кешировать можно целую книгу или огромную кодовую базу, например (см. кейсы в картинке).

Пока фича будет в бете, подробности о ценах и документация тут.

Анекдот дня: ученые не могут забронировать жилье на NeurlPS 2024 из-за Тейлор Свифт

Дело в том, что конференция проходит в Ванкувере с 9 по 15 декабря. И примерно в эти же даты в городе выступает Тейлор Свифт.

Итог – самый дешевый отель стоит 650$ за ночь 😰

Даже самые передовые LLM могут отвечать без галлюцинаций только в 35% случаев 😯

Это выяснили исследователи из университетов Корнелла и Вашингтона. Они показали, что большинство прошлых тестов на галлюцинации были нерелевантными, потому что содержали в основном вопросы, на которые можно найти ответ в Википедии. Учитывая, что все модели так или иначе обучались на Вики, задача сводилась к «testing on the train set».

Чтобы избежать такого лика данных, ученые создали свой бенчмарк с «невикепидийными» вопросами, и вот тут-то модельки посыпались. Тестили и опенсорс, и закрытые LLM. Из интересного:

⚪️ Оказалось, что от количества параметров доля галлюцинаций в ответах не зависит. Например, Claude 3 Haiku валял дурака так же часто, как Claude 3 Opus.

⚪️ Меньше всех галлюцинировали модели от OpenAI. На втором месте Google, а на третьем Anthropic.

⚪️ При этом Claude попал в лидеры, возможно, незаслуженно. Дело в том, что он просто отказывался отвечать на кучу вопросов (ответил всего на 72%).

В чем же дело? Авторы говорят, что пайплайны обучения просто устроены так, что модели обречены стать жертвами закона Гудхарта (когда метрика становится таргетом, она перестает быть хорошей метрикой).

Как такое бороть – пока неясно, но без свежих идей и подходов точно не обойтись.

В тему сегодняшнего поста про галлюцинации и фактологию: новая модель Sonar Huge от Perplexity оснащена возможностью искать информацию в Твиттере

Модель вышла буквально на днях, она основана на Llama 3.1 405B и оптимизирована под поисковые запросы. А сегодня вот выяснилось, что Sonar Huge оснащена возможностью серчить по Х.

Интересно, не станет ли от этого у нее еще больше ошибок в ответах? 🤔

У предыдущих моделей Sonar, что интересно, процент галлюцинаций (см. таблицу здесь) не сильно ниже обычных LLM без доступа к Интернету. Загадочно.

Видимо предсказанный релиз новой модели от OpenAI снова откладывается. GPT решил прилечь 🤭

Google DeepMind на одном из своих выступлений показали график, на котором отражается внимание, уделяемое обучению с подкреплением в моделях ИИ с течением времени.

Судя по графику, сейчас мы в локальном минимуме, а ключ к AGI – это RL 🤷‍♂️