📌Почему языковые модели галлюцинируют.

OpenAI опубликовали исследование о причинах галлюцинации LLM.

Галлюцинации - это не мистический сбой в сознании ИИ, а вполне предсказуемый побочный эффект его обучения.

Представьте, что перед моделью стоит задача бинарной классификации - определить, является ли предложенное утверждение корректным или нет. Математическая выкладка в исследовании проста: уровень ошибок генерации как минимум в 2 раза превышает уровень ошибок классификации. Если модель не способна надежно отличить факт от вымысла, она неизбежно будет этот вымысел генерировать.

🟡Все начинается еще на претрейне.

Даже на идеально чистых данных статистические цели обучения подталкивают модель к генерации ошибок. Особенно это касается фактов, которые редко встречаются в обучающей выборке.

В работе вводится понятие singleton rate — доля фактов, которые появились в данных лишь один раз. Теоретический расклад показывает, что уровень галлюцинаций модели будет как минимум равен этой доле.

Проще говоря, если 20% фактов о днях рождения в датасете встретились единожды, модель будет выдумывать дни рождения как минимум в 20% случаев.

🟡Эксперименты это подтверждают.

Модель DeepSeek-V3, на просьбу назвать день рождения одного из авторов статьи, трижды выдала неверные даты: 03-07, 15-06 и 01-01. Ни одна из них не была даже близка к правильной (осенью).

В другом тесте, где нужно было сосчитать количество букв D в слове DEEPSEEK, та же DeepSeek-V3 выдавала 2 или 3, а модели компании Марка Цукерберга и Claude 3.7 Sonnet доходили до 6 и 7.

При этом базовые модели после претрейна часто показывают отличную калибровку. Например, у предобученной GPT-4 ожидаемая ошибка калибровки составляла всего 0.007, что говорит о высокой статистической адекватности ее предсказаний. Кто бы сомневался.

🟡Почему галлюцинации не исчезают после пост-тренинга и RLHF?

Ответ на этот вопрос - в системе оценки. Большинство современных бенчмарков поощряют угадывание. Модели, по сути, постоянно находятся в режиме сдачи экзамена, где за правильный ответ дают 1 балл, а за пустой бланк или ответ я не знаю - 0. В такой системе оптимальная стратегия при неуверенности - только угадать. Любой шанс на правильный ответ лучше, чем гарантированный ноль.

Эту гипотезу подтвердили анализом популярных оценочных наборов.

В GPQA, MMLU-Pro, Omni-MATH, SWE-bench и HLE используется строго бинарная система оценки (правильно/неправильно). Возможности получить частичный балл за честное признание в незнании там просто нет. Из 10 рассмотренных в исследовании популярных бенчмарков только один, WildBench, присуждает частичные баллы за ответы формата я не знаю. Остальные же фактически наказывают модель за отказ галлюцинировать, создавая эпидемию штрафов за неуверенность и поощряя ее выдавать правдоподобную ложь.

🟡Что делать инженерам.

OpenAI предлагает встраивать явные целевые уровни уверенности в рубрики, вводить поведенческую калибровку и оценивать модели по секциям с разными порогами уверенности.

Еще рекомендуют включают мониторинг singleton-rate на корпусе, измерение вероятности важных ответов, комбинирование RAG с верификацией фактов и изменение лидербордов чтобы ответы я не знаю не штрафовались автоматически.

🔜 Читать статью полностью
🔜 Смотреть видео разбор

#AI #ML #LLM #Research #OpenAI

✔️ На OpenRouter появилась модель, которую считают прототипом GPT-5.1.

Без официального анонса стала доступна новая ИИ-модель Polaris Alpha с контекстным окном до 256 тыс. токенов. Она описывается как универсальный инструмент для генерации кода и выполнении инструкций. Модель была запущена для сбора обратной связи от пользователей.

В технических сообществах предполагают, что Polaris Alpha может быть тестовой версией GPT-5.1 от OpenAI. Эту гипотезу подкрепляют отзывы первых пользователей, отмечающих крайне низкий уровень галлюцинаций и стиль ответов, характерный для GPT. Сама Polaris Alpha на прямой вопрос о своей связи с GPT-4 отвечает утвердительно.

По результатам бенчмарка EQ-Bench, производительность модели сопоставима с Claude-3.5-Sonnet. Доступ к Polaris Alpha открыт бесплатно через веб-интерфейс и API на OpenRouter.
openrouter.ai

✔️ Microsoft создает команду для разработки гуманистического сверхинтеллекта.

Мустафа Сулейман, CEO Microsoft AI, анонсировал новую стратегию, основанную на концепции «гуманистического сверхинтеллекта» (HSI). Для работы над этим направлением создается специальное подразделение - MAI Superintelligence Team.

В отличие от идеи AGI, подход Microsoft предполагает создание узкоспециализированных и контролируемых систем для решения конкретных проблем человечества. Стратегия отказывается от гонки за ASI в пользу разработки практических технологий.

Цели HSI — добиться прорывов в медицине, поиск чистой энергии и создание персонализированных ИИ-ассистентов, избегая рисков создания автономных и неконтролируемых систем. По словам Сулеймана, это должно гарантировать, что самые топовые версии ИИ будут создаваться строго в интересах людей.
microsoft.ai

✔️ Google выпустила Magika 1.0: ИИ-систему для определения типов файлов.

Google представила первый стабильный релиз опенсорсной утилиты Magika с полностью переписанным с нуля на Rust движком. Новая версия способна сканировать сотни файлов в секунду на одном ядре процессора, используя ONNX Runtime для инференса и Tokio для асинхронной обработки.

Количество поддерживаемых типов файлов было удвоено и теперь превышает 200. Добавилась поддержка актуальных форматов для Data Science и ML (Jupyter, PyTorch, ONNX), современных языков программирования (Swift, Kotlin, TypeScript, Zig) и DevOps-инструментов (Dockerfile, TOML, HCL). Разработчикам доступны обновленные модули для Python и TypeScript, а также новый нативный клиент командной строки.
opensource.googleblog.com

✔️ Foxconn внедрит человекоподобных роботов на производстве ИИ-серверов.

Крупнейший в мире контрактный производитель электроники в течение 6 месяцев начнет использовать человекоподобных роботов на своем заводе в Техасе. Роботы будут задействованы в сборке серверов для ИИ-систем. По словам CEO Янг Лю, это первый подобный опыт за более чем 50-летнюю историю Foxconn.

Этот шаг является частью стратегии по агрессивному расширению производства в Северной Америке. Компания, являясь ключевым поставщиком Nvidia, считает Северную Америку своим главным хабом по выпуску ИИ-серверов на ближайшие 3 года. Решение о роботизации принято для повышения эффективности производства, которое, по словам Лю, критически важно в сфере ИИ.
asia.nikkei.com

✔️ Сооснователь и руководитель PyTorch Сумит Чинтала покидает компанию Марка Цукерберга.

Сумит Чинтала, один из создателей и ключевых руководителей проекта PyTorch, объявил о своем уходе. Его последний рабочий день в компании - 17 ноября. Чинтала, проработавший у Цукерберга 11 лет, возглавлял PyTorch с момента его создания. За это время фреймворк стал индустриальным стандартом, заняв, по оценкам, более 90% рынка ИИ-разработки.

Свой уход он объяснил желанием после долгого отпуска заняться чем-то новым. По его словам, PyTorch достиг зрелости и стабильности, а сильная команда готова продолжать его развитие. Сам Чинтала планирует остаться активным участником open-source сообщества.
Soumith Chintala в сети X

@ai_machinelearning_big_data

#news #ai #ml

⚡️ ChatGPT-5.1

OpenAI выпустила GPT-5.1, сделав основной упор на интеллект и качество диалога.

🟢GPT-5.1 Instant - модель с функцией адаптивного мышления. Она способна самостоятельно «задумываться» над сложными задачами, что позволило выбивать более высокие баллы по математическим задачам AIME 2025 и задачам по программированию Codeforces. Модель стала лучше следовать инструкциям и получила более «теплый» стиль общения по умолчанию.

🟢GPT-5.1 Thinking тоже была улучшена: она быстрее справляется с простыми запросами и выдает более четкие ответы с меньшим количеством жаргона.

Вместе с моделями OpenAI расширила возможности кастомизации тона ответов, добавив новые стили: «Профессиональный», «Откровенный» и «Необычный».

Обновление уже раскатывают на платных подписчиков, а доступ через API появится в ближайшие дни. Предыдущие версии GPT-5 останутся доступны в течение трех месяцев.

@ai_machinelearning_big_data

#news #ai #ml