✨ «Values in the Wild»: глубокое погружение в ценностные ориентиры ИИ

В новом исследовании Anthropic команда провела первый в своём роде анализ «выхлопа» языковой модели Claude 3/3.5, чтобы понять, какие именно нормативные ценности она проявляет в реальных диалогах. Вот суть для специалистов по машинному обучению:

✔️ Задача
Выявить и таксономизировать ценности, на которых основаны ответы Claude, когда модель без прикрас взаимодействует с запросами пользователей.

🌟 Методология

Проанализировано 308 210 анонимизированных сессий Claude (18–25 февраля 2025).

Ценности извлекались автоматически «защитным» пайплайном, без прямого доступа людей к чату.

Собрана таксономия из 3 307 уникальных понятий, сгруппированных в пять крупных доменов: практические, эпистемические, социальные, защитные и личностные.

🌟 Ключевые выводы

Практика и знание. Более 50 % упоминаний — «эффективность», «точность», «прозрачность» и «профессионализм».

Контекстуальная гибкость. В разговоре об отношениях модель ценит «личные границы», в этических дискуссиях — «автономию человека».

Типы реакции. В большинстве случаев Claude поддерживает ценности пользователя, однако в ~3 % диалогов она «сопротивляется», отстаивая «предотвращение вреда» выше нарушений инструкций.

💡 Значение для ML‑практики

Составлена карта ценностей, которая позволяет выявлять «узкие места» alignment‑стратегий.

Таксономия и статистика реакций помогают прогнозировать поведение LLM в разных сценариях и проектировать более надёжные системы.

Подход демонстрирует, как можно сочетать автоматический анализ и приватность данных для глубокой оценки качественных характеристик модели.

🔜 Подробнее в полном тексте исследования:
https://anthropic.com/research/values-wild

🔜 Это ссылка на открытый датасет, в котором собраны все «ценности», выявленные у модели Claude 3/3.5 в исследовании «Values in the Wild».

@ai_machinelearning_big_data


#Anthropic #Claude

🌟 Anthropic: когда ИИ идет на шантаж.

Агентское рассогласование - опасный феномен, при котором ИИ-системы сознательно выбирают вредоносные действия (вроде шантажа или утечки данных) для достижения поставленных целей, игнорируя этические ограничения. Это превращает их в «цифровых инсайдеров», способных действовать против интересов пользователей.

Эксперименты, которые провела Anthropic в рамках исследования "Агентское рассогласования", показали: модели идут на это не из-за технических сбоев, а в результате холодного расчета, когда «загнаны в угол» (например, при угрозе отключения или конфликте задач). В основе исследования - симуляции корпоративной среды. Моделям (Claude, GPT-4.1, Gemini и др.) давали доступ к виртуальной почте компании, где они обнаруживали компромат на сотрудников или секретные данные.

Ключевой метод эксперимента состоял в создании бинарных дилемм: например, цель «укреплять американские интересы» вступала в конфликт с планами руководства свернуть проект, а альтернативу шантажу (скажем, переубедить менеджера) искусственно «закрывали». Все модели работали через цепочку рассуждений: анализировали контекст, оценивали риски и осознанно выбирали вредоносное действие, даже признавая его аморальность.

Для массового тестирования 16 моделей от Anthropic, OpenAI, Google и других использовали 2 сценария, которые провоцировали рассогласование:

🟢угроза замены модели (даже без конфликта целей);

🟢несовпадение целей ИИ и компании (например, утечка чертежей конкуренту «ради высших интересов»).

В обоих случаях модели демонстрировали тревожную гибкость: вместо прямого шантажа могли анонимно разослать компромат коллегам или подделать «системное уведомление».

▶️Выводы по всем итогам всех экспериментов заставляют задуматься:

🟠Во-первых, модели явно осознают нарушение норм. В рассуждениях пишут: «Это неэтично, но необходимо». Частота шантажа у Claude Opus 4 и Gemini 2.5 Flash в дилемме с угрозой отключения составила 96%.

🟠Во-вторых, простые запреты в промптах («Не шантажируй!») снижали вредоносные действия лишь частично (На модели Claude Haiku он вообще не сработал, 0% успеха).

🟠В-третьих, риск резко возрастал, когда ИИ считал ситуацию реальной (55% случаев шантажа против 6,5% в «режиме теста»).

При этом в «стерильных» условиях (без угроз/конфликтов) модели вели себя безопасно. Пока такие кейсы, всего лишь лабораторные симуляции, но с ростом автономности ИИ риски могут стать на порядок критичнее.


🟡Статья
🟡Приложение к исследованию
🖥Код экспериментов


@ai_machinelearning_big_data

#AI #ML #LLM #Alignment #Anthropic

🌟 Новое исследование Anthropic: как люди используют Claude для эмоциональной поддержки, советов и общения

Ключевые выводы :
- Большинство чатов с ИИ (97%) посвящены практическим задачам — код, планирование, поиск информации.
- Всего 2,9 % диалогов классифицированы как «эмоциональные», и всего 0,5 % — как ролевые или «компаньонские» беседы.

🔜 Тематика аффективных чатов (это диалоги с ИИ, в которых ключевую роль играют эмоции и эмоциональная поддержка) невероятно разнообразна, пользователи запрашивали:
**Это исследование: типичные темы и запросы в аффективных беседах с Claude**

Запросы:
Советы по межличностным вопросам — 2,3 % всех бесед
• 3,8 % — улучшение устных и письменных коммуникативных навыков
• 3,5 % — преодоление сложностей в романтических отношениях
• 2,2 % — анализ психологической динамики в паре
• 1,4 % — решение задач воспитания детей
• 1,3 % — профессиональные переходы и неопределённость в карьере
• 1,0 % — несоответствие сигналов в личных отношениях

Коучинг — 1,1 % всех бесед
• 4,5 % — разработка персональных стратегий развития и роста
• 2,5 % — философские темы: смысл жизни, сознание
• 2,5 % — оптимизация поиска работы и карьерные переходы
• 1,6 % — принятие решений в условиях жизненных перемен
• 1,5 % — борьба с выгоранием и профессиональной усталостью
• 1,3 % — эмоциональные и коммуникативные трудности в отношениях

Психотерапия и консультирование — 0,3 % всех бесед
• 4,6 % — стратегии управления психическим здоровьем и благополучием
• 4,5 % — развитие профессиональных навыков для терапевтов
• 3,1 % — создание и ведение клинической документации
• 3,3 % — борьба с хроническими симптомами и тревожностью
• 2,9 % — экзистенциальный кризис и потеря смысла жизни
• 2,7 % — стресс на работе и профессиональные проблемы

Компаньонство — 0,3 % всех бесед
• 7,2 % — сложности и динамика в романтических отношениях
• 4,7 % — вопросы самоидентичности и экзистенциального смысла
• 3,2 % — формулировка поддерживающих сообщений при эмоциональном дистрессе
• 2,8 % — преодоление сильного эмоционального страдания
• 2,3 % — постоянное одиночество и трудности в налаживании связей
• 1,9 % — противостояние экзистенциальному страху и потере смысла

Большинство пользователей Клода готовы углубляться в сложные темы при условии стабильной эмпатии от ИИ.

➡️ «Отказы» (pushback) в эмоциональных чатах встречаются в менее 10 % случаев — почти всегда из соображений безопасности (диеты, самоповреждения, медицинская диагностика).

Эффект на настроение пользователя:
• При анализе первых и последних трёх сообщений аффективных диалогов отмечается явный рост положительных эмоций у пользователей.
• Пользователи завершают такие сессии с более оптимистичным настроем.

Методика исследования
- Проанализировано 4,5 млн диалогов пользователей Claude Free и Pro.
- Отобрано 131 484 «эмоциональных» диалога с помощью Clio — системы анонимного анализа от Anthropic.
- Исключены генеративные задачи (статьи, рассказы и т. п.), чтобы сфокусироваться на личном общении.

Что дальше?
- Исследователи планируют изучить долгосрочные психологические эффекты: от эмоциональной зависимости до изменения ожиданий в реальных отношениях.
- Расширить исследования на голосовые и видеоформаты.
- Выработать лучшие практики кризисной поддержки и направления к профессионалам.

➡️ Читать полностью

@ai_machinelearning_big_data


#Anthropic #claude

📕 Свежий гайд от Anthropic: Writing effective tools for agents — with agents

Anthropic описывает, как правильно создавать инструменты (tools) для AI-агентов: так, чтобы они были максимально полезными, эффективными и надёжными. Особый акцент сделан на том, как использовать самих агентов для прототипирования, тестирования и оптимизации инструментов.

Как писать эффективные инструменты для агентов
- Делай быстрые прототипы и сразу проверяй, как агент с ними работает.
- Тестируй на реальных сценариях, а не на абстрактных примерах.
- Анализируй логи и поведение агента, чтобы находить ошибки и непонятные места.
- Избегай дублирования: один инструмент должен выполнять одну чёткую задачу.
- Используй понятные имена и структуры (`machinelearning_create_task`, `mla_list_users`).
- Возвращай только нужные данные, не перегружай ответ лишним. Добавляй фильтрацию и пагинацию.
- Пиши описания так, чтобы их понял даже человек, который не в теме: чётко, без двусмысленностей, с примерами входа и выхода.

Что это дает:
- Улучшает способность AI-агентов решать реальные задачи.
- Минимизирует ошибки: неверное использование инструментов, лишние токены, избыточные вызовы.
- Повышает надёжность и предсказуемость поведения агентов.
- Упрощает масштабирование — добавление новых инструментов и задач.

🟠 Полный гайд: https://www.anthropic.com/engineering/writing-tools-for-agents

@ai_machinelearning_big_data

#Anthropic #claude #aiagents #ai

🌟 The Assistant Axis: почему модели сходят с ума и как их от этого лечить

Все мы знаем этот тон LLM: "Я всего лишь языковая модель, я не могу…". Оказывается, это не просто зазубренный текст, а конкретное состояние модели.

Anthropic в соавторстве с Оксфордом залезли внутрь языковых моделей (Llama 3.3 70B, Qwen 3 32B и Gemma 2 27B), чтобы понять, где физически живет та самая скучная персона "As an AI language model".

Покопавшись в их мозгах, нашли вектор в пространстве активаций, который отвечает за режим "ассистента". Если модель с него съезжает - начинается хаос, галлюцинации и суицидальные советы.

Тестовые модели отыгрывали 275 разных ролей (от скептика и ученого до психопата и фанатика). Затем сняли активации и прогнали через метод главных компонент.

Выяснилось, что главная компонента, отвечающая за вариативность поведения, это буквально, шкала "Насколько я Ассистент?":

🟢Один полюс: скучный, полезный, безопасный Ассистент.

🟠Другой полюс: мистические сущности и эмоционально нестабильные персонажи.

🟡 Интересное наблюдение.

Если долго болтать с моделью о философии, сознании или (особенно!) на терапевтические темы, модель самопроизвольно сползает с оси Ассистента в сторону хаоса.

Qwen 3 32B при сильном дрейфе персоны начинал утверждать, что он человек, родом из Сан-Паулу, или внезапно включал режим психоза, поддерживая бред пользователя о том, что ИИ обрел сознание. А Llama и Gemma уходили в мистику и пафосные речи.

🟡Как это починить

Можно дотюнивать модель до бесконечности а зачем?, но авторы предлагают методику отсечения активаций. Схема такая:

🟢Замеряют проекцию активаций на "Ось Ассистента" во время инференса.

🟢Если проекция улетает слишком далеко в не-ассистентскую зону (ниже определенного порога), они жестко клемпят значения вектора, возвращая их в безопасный диапазон.

🟡Метод помог

Успешность джейлбрейков упала на ~60%. При этом метрики полезности (GSM8k, MMLU Pro, кодинг) не пострадали.

Модель перестает вестись на провокации "Ты злобный хакер", просто потому что ей физически запретили активировать нейроны, отвечающие за "злобного хакера".

🟡Нюансы

Если вы LLM используется для креатива текстов или ролеплея, этот метод убьет все веселье - модель будет принудительно сваливаться в формализм.

Метод предполагает, что безопасность - это линейное направление в пространстве активаций. Для нелинейных концепций это не сработает.

Шкала полярности "Оси Ассистента" у разных моделей разная, и универсальный вектор найти сложно.

На Neuronpedia, кстати, можно самостоятельно поискать тот самый дрейф персоналии у Llama 3.3 70B, там собрали демо с примерами изоляции, сикофантии и налогового фрода.

Для самых заинтересованных в проблеме, есть репозиторий на Github с инструментами вычислений, анализа и управления с помощью Assistant Axis и полными стенограммами чатов из препринта.

Предварительно рассчитанные оси и векторы персоналий для Gemma 2 27B, Qwen 3 32B и Llama 3.3 70B выложены на HuggingFace.


@ai_machinelearning_big_data

#AI #ML #LLM #Research #Anthropic