Все как у людей

OpenAI только что опубликовал статью, доказывающую, что ИИ будет всегда придумывать несуществующее

Вы доверяете инструменту, который математически гарантированно сфабриковал информацию.
Вот что на самом деле показывают их исследования:
Команда исследователей OpenAI и Georgia Tech обнаружила, что языковые модели подвержены галлюцинации, потому что обучение активно вознаграждает догадки, а не правильный ответ (который не знает сам вопрошающий)
Представьте студента на экзамене с несколькими вариантами ответов, который понятия не имеет, каков правильный ответ: догадки дают им шанс, но само написание ничего не гарантирует в праве истинности.
Модели ИИ обучаются так же. Придумывают что-то, на их взгляд, получше, просто ответить "не знаю. "
Исследователи доказали это математически. Когда ИИ не может достоверно отличить факт от вымысла в своих тренировочных данных, галлюцинации становятся предсказуемым исходом того, как он был спроектирован.

Три фактора делают это совершенно неизбежным:

• Пробелы в знаниях - некоторые темы только мимолетом появлялись в тренинге, поэтому модель заполняет пробелы своими фантазиями

• Архитектурные пределы — некоторые проблемы выходят за рамки современных моделей

• Вопросы без ответа — некоторые вещи ни один ИИ никогда не сможет проверить на достоверность

Отсюда результаты становятся еще более удручающими.

Самые продвинутые модели OpenAI на самом деле врали больше, чем их старые идентичности.
Их ранняя модель рассуждения ошиблись 16% случаев на базовой публичной информации. Следующее поколение подскочило до 33%. Их последний выпуск достиг 48%.

Каждая новая версия становилась умнее и способнее, а также становилась более изобретательной чтоб выглядеть правильной, даже когда она была совершенно неправильной.
Сопернические модели от Anthropic и DeepSeek были протестированы на простых фактических вопросах и оба дали дико неверные ответы. Эта проблема принадлежит всей ИИ отрасли.

Учоные не теряют оптимизма и тешат себя иллюзиями, что:

- Более точная модель в конце концов перестанет врать сама по себе, просто решит, что харе и точка. Еще один вариант ответа у них такой: Модель не будет придумывать, потому что на некоторые вопросы просто нет ответа независимо от того, насколько сообразительной станет модель.
- Галлюцинации являются неизбежной ценой использования ИИ. Им не обязательно все знать, потому что модели могут сказать "Я не уверен. Проблема в том, что системы баллов не дают нулевой награды за честность, делая предположения более умными

- Исправление ошибок это еще не новая модель и большое количество освоенных данных тоже не панацея, быть может, что то изменится от того, как оцениваются ИИ.

В настоящее время ориентиры тестеров вознаграждают уверенный неправильный ответ честным «я не уверен», и пока это не изменится, каждая лаборатория мира будет продолжать строить модели, которые догадываются а не решают

Галлюцинации не пройдут. Чем умнее становится модель, тем важнее проектировать системы, которые это учитывают. Только как это сделать пока никто не знает