Forwarded from КиберПсихология
✔️ Можно ли доверить психологическую поддержку искусственному интеллекту?
Все больше людей используют универсальные чат-боты не только для поиска информации или написания текстов, но и для разговора «по душам»: обсуждают тревогу, одиночество, отношения, выгорание и даже симптомы психических расстройств. Для многих ИИ становится первым собеседником, к которому они обращаются в сложной жизненной ситуации.
Однако важно помнить: эти модели не создавались как психотерапевты. Они обучены вести естественный диалог, но не проходили полноценную клиническую валидацию и не предназначены для оказания психологической помощи. Именно поэтому за последние два года появилось сразу несколько крупных исследований, посвящённых потенциальным рискам их использования в сфере психического здоровья.
📌 Где проходят границы безопасного применения ИИ?
В одной из наиболее влиятельных работ, опубликованной в npj Mental Health Research (Nature Portfolio) (2024), авторы подчеркивают, что психотерапия относится к областям повышенного риска, где ошибка может иметь серьезные последствия для здоровья человека.
Среди основных рисков выделяются способность моделей «галлюцинировать» и давать недостоверные рекомендации, недостаточная надежность при распознавании кризисных состояний (в том числе суицидального риска), алгоритмические предубеждения, непрозрачность принципов работы моделей и вероятность того, что пользователи будут чрезмерно доверять советам чат-бота, воспринимая общение с ними как профессиональную помощь.
📌 Справляются ли современные чат-боты со сложными случаями?
В препринте Expressing stigma and inappropriate responses prevents LLMs from safely replacing mental health providers (2025) исследователи проверили, как несколько популярных языковых моделей отвечают на клинические сценарии, связанные с психическими расстройствами.
Авторы обнаружили ряд более специфических рисков. Во-первых, модели нередко демонстрировали стигматизирующие установки, оценивая людей с психическими расстройствами как более опасных, менее надежных или менее социально приемлемых по сравнению с людьми без подобных диагнозов. Во-вторых, в ситуациях, где пользователь описывал бредовые идеи или психотические переживания, чат-боты не пытались мягко проверить их на соответствие реальности, а, напротив, могли частично подтверждать или развивать эти убеждения. Наконец, исследователи показали, что стремление языковых моделей соглашаться с пользователем (исследователи называют это явление sycophancy) в некоторых случаях приводило к потенциально опасным ответам, когда вместо осторожной коррекции модель поддерживала ошибочные или патологические интерпретации происходящего.
📌 Перевешивают ли преимущества существующие риски?
В систематическом обзоре, опубликованном в журнале JMIR Mental Health (2024), исследователи проанализировали около 40 работ, посвященных использованию больших языковых моделей в сфере психического здоровья. Авторы отмечают, что ИИ действительно способен расширить доступ к психологической помощи, использоваться для психообразования, или первичного скрининга. Однако анализ существующих данных показывает, что большинство моделей пока недостаточно клинически валидированы, а их применение сопровождается рисками неточных рекомендаций, «галлюцинаций», непрозрачности принятия решений, проблемами конфиденциальности данных и отсутствием единых этических стандартов. Кроме того, авторы обращают внимание на риск чрезмерной зависимости пользователей от рекомендаций ИИ.
Авторы делают осторожный вывод: на данном этапе потенциальные риски клинического применения могут превышать доказанные преимущества, а внедрение специализированных систем требует дальнейших исследований и строгой оценки безопасности.
💬 Общий вывод исследований пока достаточно единодушен: большие языковые модели хоть и обладают огромным потенциалом для использования в сфере психического здоровья, но использование универсальных чат-ботов в качестве самостоятельных «психотерапевтов» пока нельзя назвать безопасным.
#Киберпсихология #ИИ #Психотерапия #ПсихическоеЗдоровье
Все больше людей используют универсальные чат-боты не только для поиска информации или написания текстов, но и для разговора «по душам»: обсуждают тревогу, одиночество, отношения, выгорание и даже симптомы психических расстройств. Для многих ИИ становится первым собеседником, к которому они обращаются в сложной жизненной ситуации.
Однако важно помнить: эти модели не создавались как психотерапевты. Они обучены вести естественный диалог, но не проходили полноценную клиническую валидацию и не предназначены для оказания психологической помощи. Именно поэтому за последние два года появилось сразу несколько крупных исследований, посвящённых потенциальным рискам их использования в сфере психического здоровья.
📌 Где проходят границы безопасного применения ИИ?
В одной из наиболее влиятельных работ, опубликованной в npj Mental Health Research (Nature Portfolio) (2024), авторы подчеркивают, что психотерапия относится к областям повышенного риска, где ошибка может иметь серьезные последствия для здоровья человека.
Среди основных рисков выделяются способность моделей «галлюцинировать» и давать недостоверные рекомендации, недостаточная надежность при распознавании кризисных состояний (в том числе суицидального риска), алгоритмические предубеждения, непрозрачность принципов работы моделей и вероятность того, что пользователи будут чрезмерно доверять советам чат-бота, воспринимая общение с ними как профессиональную помощь.
📌 Справляются ли современные чат-боты со сложными случаями?
В препринте Expressing stigma and inappropriate responses prevents LLMs from safely replacing mental health providers (2025) исследователи проверили, как несколько популярных языковых моделей отвечают на клинические сценарии, связанные с психическими расстройствами.
Авторы обнаружили ряд более специфических рисков. Во-первых, модели нередко демонстрировали стигматизирующие установки, оценивая людей с психическими расстройствами как более опасных, менее надежных или менее социально приемлемых по сравнению с людьми без подобных диагнозов. Во-вторых, в ситуациях, где пользователь описывал бредовые идеи или психотические переживания, чат-боты не пытались мягко проверить их на соответствие реальности, а, напротив, могли частично подтверждать или развивать эти убеждения. Наконец, исследователи показали, что стремление языковых моделей соглашаться с пользователем (исследователи называют это явление sycophancy) в некоторых случаях приводило к потенциально опасным ответам, когда вместо осторожной коррекции модель поддерживала ошибочные или патологические интерпретации происходящего.
📌 Перевешивают ли преимущества существующие риски?
В систематическом обзоре, опубликованном в журнале JMIR Mental Health (2024), исследователи проанализировали около 40 работ, посвященных использованию больших языковых моделей в сфере психического здоровья. Авторы отмечают, что ИИ действительно способен расширить доступ к психологической помощи, использоваться для психообразования, или первичного скрининга. Однако анализ существующих данных показывает, что большинство моделей пока недостаточно клинически валидированы, а их применение сопровождается рисками неточных рекомендаций, «галлюцинаций», непрозрачности принятия решений, проблемами конфиденциальности данных и отсутствием единых этических стандартов. Кроме того, авторы обращают внимание на риск чрезмерной зависимости пользователей от рекомендаций ИИ.
Авторы делают осторожный вывод: на данном этапе потенциальные риски клинического применения могут превышать доказанные преимущества, а внедрение специализированных систем требует дальнейших исследований и строгой оценки безопасности.
💬 Общий вывод исследований пока достаточно единодушен: большие языковые модели хоть и обладают огромным потенциалом для использования в сфере психического здоровья, но использование универсальных чат-ботов в качестве самостоятельных «психотерапевтов» пока нельзя назвать безопасным.
#Киберпсихология #ИИ #Психотерапия #ПсихическоеЗдоровье
Nature
Large language models could change the future of behavioral healthcare: a proposal for responsible development and evaluation
npj Mental Health Research - Large language models could change the future of behavioral healthcare: a proposal for responsible development and evaluation