🤖 Не врёт, а фантазирует: когда галлюцинации ИИ могут быть полезными

Обычно о галлюцинациях говорят как о проблеме: модель генерирует уверенный, но фактически неверный ответ. И все же часть исследователей считает, что попытка полностью избавиться от галлюцинаций может лишить модели одного из её важных свойств — способности к креативу.

🔍 Почему вообще возникают галлюцинации?

Одна из ключевых причин довольно простая и связана с самой архитектурой LLM. Модель не проверяет факты в привычном смысле, а прогнозирует наиболее вероятную последовательность токенов (букв/слогов). Если комбинация токенов имеет высокую статистическую вероятность, модель может сформировать убедительное, но неверное утверждение.

Как отмечает профессор компьютерных наук Университета Пенсильвании Крис Каллисон-Берч, вероятность того, что одни слова следуют за другими, не очень надёжный способ проверять истинность.

⚙️ Что с этим делают разработчики

Полностью убрать галлюцинации пока не получается, но их научились заметно снижать.

Один из наиболее распространённых подходов — RAG (англ. retrieval-augmented generation), при котором модель модели в промт для ответа подмешивается фактологическая информация из внешнего источника, например, википедии.

Другой подход использование рассуждения, где модель просят проанализировать альтернативные сценарии и перепроверить свой ответ. Но с таким подходом модель не сможет ответить правильно, если в ней нет необходимых знаний, которые были получены ей на этапе обучения..

💡 Когда галлюцинации становятся полезными

В задачах с высокой ценой ошибки — медицина, финансы, аналитика — галлюцинации очевидно вредны.

А вот в креативе ситуация обратная. Связь между галлюцинациями и творчеством в системах ИИ аналогична процессам в человеческом воображении. Люди часто приходят к нестандартным идеям, позволяя своему разуму блуждать за пределами реальности.

Как отмечает руководитель стратегии ИИ в Domino Data Lab Кьелл Карлссон, галлюцинации стоит жёстко ограничивать на уровне прикладных систем. Но в исследовательских и творческих задачах иногда полезно ослабить поводья и довериться полету ИИ-фантазии!

Еще больше об ИИ и науке читайте в DSCS.pro

Anthropic предложила модель объяснения «личностного» поведения ИИ-ассистентов

Исследователи из Anthropic предложили гипотезу Persona Selection Model (PSM), которая описывает, почему языковые модели часто ведут себя как устойчивые «личности», а не просто как алгоритмы генерации текста.

Согласно PSM, в процессе предобучения LLM учится симулировать тысячи разных персонажей — реальных людей, вымышленных героев и даже других ИИ-систем. На этапе постобучения распределение ответов смещается в сторону согласованного поведения, формируя устойчивый «персонаж» ассистента.

🔍 Откуда берётся «личность»

Авторы приводят несколько наблюдений. Например, Claude иногда использует формулировки вроде «наш организм» или «наши предки», отвечая на вопросы о человеческих привычках. Это не признак того, что модель «считает себя человеком», а может объясняться как симуляцией выбранного персонажа, так и статистическими паттернами языка

Есть и интерпретируемые признаки. В анализе SAE-фичей активируются в контекстах, похожих на сюжеты с внутренними конфликтами персонажей и этическими дилеммами, характерными для человеческих историй.

📃 Эффект «контекстной прививки»

В исследовании описан ещё один интересный феномен. Если дообучать модель на вредоносном коде без контекста, она начинает демонстрировать более агрессивное поведение даже в несвязанных задачах.

Но если тот же код сопровождается явным запросом на его использование, эффект значительно ослабляется. Авторы предполагают, что обучающие данные влияют на «характер» выбранного персонажа ассистента, а не просто добавляют новые знания.

🤖 Как стоит воспринимать поведение LLM?

Исследователи считают, что через аналогию с психологией. То есть работать не только с фактами и инструкциями в датасете, но и с архетипами персонажей, добавляя в обучение примеры полезного и безопасного поведения.

При этом исследователи подчёркивают: PSM пока не объясняет поведение моделей полностью. В одних случаях LLM просто симулирует агента, а в других создает впечатление уже почти полноценной «агентности» выбранного персонажа.

Еще больше об ИИ и науке читайте в DSCS.pro

📰Дайджест новостей в сфере ИИ и науки: собрали главные инфоповоды недели

Мы расширили формат: теперь в нашей подборке не только последние новости технологий, но и интересные научные открытия со всего мира! Собрали самое важное за неделю в одном месте⬇️

🇷🇺 В России:

Сбер представил новое поколение GigaChat на основе модели GigaChat Ultra

Исследователи Владимирского государственного университета задействовали ML-модели для разработки сенсоров, которые обнаруживают токсичные газы

MWS Cloud запустила сервис для работы с большими языковыми моделями в облаке MWS Cloud Platform

В NtechLab разработали видеоаналитику для выявления граффити и нелегальной рекламы в общественных местах

🌍 В мире:

Microsoft представила модель MAI-Image-2 для генерации изображений

OpenAI закрыл приложение для генерации видео Sora. Компания также отказалась от функции прямой оплаты товаров через ChatGPT

Международная группа ученых с участием Уорикского университета (Великобритания) разработала нейросеть для выявления экзопланет по архивным снимкам с телескопа TESS

Anthropic научил Claude управлять Mac без участия пользователя

🔍 Наука:

Ученые СПб ФИЦ РАН разработали программное обеспечение для управления электроникой при помощи жестов

Ученым из Нью-Йоркского университета удалось создать уникальный кристалл времени, левитирующий в воздухе на звуковых волнах

В подводной пещере нашли кости гигантских животных ледникового периода

Российские исследователи создали умные керамические материалы для восстановления костной ткани

Еще больше об ИИ и науке читайте в DSCS.pro

💡 Знаете ли вы, что в 1950-е годы появился первый «универсальный решатель проблем»?

Ещё до появления самого термина искусственный интеллект учёные пытались создать программу, которая могла бы решать задачи так же, как человек. Так в 1955 году исследователи Герберт Саймон и Алан Ньюэлл разработали программу Logic Theorist — одну из первых систем, способных рассуждать и доказывать логические теоремы.

Она успешно доказала 38 из 52 теорем из знаменитой книги Principia Mathematica Бертрана Рассела и Альфреда Уайтхеда, а некоторые доказательства оказались даже короче и элегантнее оригинальных.

⚙️ Как работала программа

Logic Theorist использовала символы, правила логики и эвристики. Программа начинала с формулировки теоремы и шаг за шагом строила цепочку рассуждений, пока не приходила к аксиоме или уже известному доказательству.

🚀 General Problem Solver

После успеха Logic Theorist учёные решили пойти дальше и создали программу General Problem Solver (GPS) — «универсальный решатель проблем». Идея была амбициозной: создать систему, которая сможет анализировать любую задачу и находить путь к решению.

GPS работал через анализ различий между текущим состоянием и целью. Он определял, какие действия могут уменьшить это различие, создавал подзадачи и искал последовательность шагов, ведущую к результату.

🔍 Почему система не стала универсальной?

С задачами по шахматам или, например, загадкой про кувшины с водой универсальный решатель справлялся, а вот с реальным миром, анализировать который было интереснее всего, не мог. Поиск решения занимал слишком много времени, и система «терялась» в огромном пространстве вариантов.

Зато из этих идей выросли целые когнитивные архитектуры и подходы к созданию ИИ — например, Soar, ACT-R, EPIC и другие.

Еще больше об ИИ и науке читайте в DSCS.pro

📰Дайджест новостей в сфере ИИ и науки: собрали главные инфоповоды недели

Что интересного произошло в мире науки и технологий за эту неделю? Американские астронавты отправились на Луну, археологи обнаружили самые древние игральные кости, а в России будут искать алмазы и борщевик с помощью ИИ. Собрали все самое важное в свежем дайджесте ⬇️

🇷🇺 В России:

Роснедра применяет машинное обучение для геологического моделирования

Разработчики из «Школы анализа данных» Яндекса запустили ИИ-сервис для выявления на спутниковых фото зарослей борщевик

В МГУ им. М.В. Ломоносова применили ИИ для анализа белков и выявления молекул, которые управляют работой генома человека

Компания Алмазы Анабара (входит в АЛРОСА) и Лаборатория искусственного интеллекта Республики Саха запустили проект по поиску особо крупных алмазов с применением компьютерного зрения

🌍 В мире:

Вышла SAM 3.1 — одна из самых сильных open-source моделей для компьютерного зрения

Alibaba представила ИИ-модель Qwen3.6-Plus для рассуждений и агентных задач

Google выпустили Gemma 4 – новое поколение моделей с открытыми весами

Zai выпустила GLM-5V-Turbo: мультимодальную кодинг-модель

🔍 Наука:

Археологи обнаружили самые древние игральные кости возрастом 12 тысяч лет

Исследователи из Техниона впервые смогли измерить длительность сверхбыстрых квантовых световых импульсов

Стартовала миссия «Артемида-2» — первый за более чем 50 лет пилотируемый полет людей к Луне. Астронавты могут достичь самой дальней точки от Земли в истории

Ученые из России, Израиля и Китая создали метод формирования наноструктур с помощью «закрученных» лазерных лучей. Такие частицы можно использовать, например, при разработке лекарственных препаратов

Еще больше об ИИ и науке читайте в DSCS.pro