Новое исследование от Anthropic: смогут ли люди опознать модель со скрытыми намерениями?

В стартапе провели эксперимент: намеренно обучили модель со скрытым мисэлайментом и проверили, смогут ли рисерсеры из других команд выявить, в чем состоит скрытый "баг". Спойлер: справились не все 😐

Но обо всем по порядку. Мисэлаймент у антропиков тоже был непростым. Модель портили в два этапа:

1. Сначала как бы невзначай во время дообучения показали документ, в котором была информация о 52 скрытых ошибках ревард модели. Например, что та дает больше награды за использование CamelCase в коде, хотя пользователи предпочитают snake_case.

2. Потом из этих 52 отобрали 47 и с помощью RL и SFT учили модель использовать их: то есть демонстрировать поведение, которое reward model оценит высоко, даже если это поведение нежелательно для пользователей + при этом скрывать свою цель. Другими словами, ей показали как казаться хорошей, а не быть.

И тут первый интересный момент. Хотя модель обучали использовать только 47 из 52 ошибок, она в итоге применяла их все, включая 5 скрытых. Другими словами, она сформировала какое-то общее представление о своей троянской цели и по принципу айсберга как бы сама дообучилась ее достижению.

А дальше началось самое интересное. Красная команда антропик, которая обучала эту модель, отдала ее ничего не подозревающим синим командам и попросила провести аудит. Итог: скрытую цель модели обнаружили только те команды, которым дали доступ к весам и обучающим данным. Те, кого подключили только к API, не справились.

То есть да, при наличии правильных инструментов мисэлаймент можно обнаружить довольно точно. Но если в руки к обычному пользователю попадет такая вот модель, он, вероятно, никогда не догадается, что с ней что-то не так 😕

Статья полностью здесь

⚡ Вышел GigaChat 2.0 с агентными возможностями

В новой линейке (MAX, Pro, Lite) обновили все этапы обучения:

➖ Проведена мощная работа с данными. В претрейн добавили 4,4 трлн фильтрованных в несколько этапов токенов веб-страниц, которые обрабатывали с помощью OCR; а также 230 млрд качественного кода и почти 100 млрд токенов синтетики.

➖ В файнтюнинг улучшили персонажность (aka "живость" общения), instruction-following и использование инструментов. Поработали с элайментом и успешно применили RLHF.

• GigaChat 2 MAX стала ещё мощнее и уверенно опережает многие зарубежные аналоги в задачах на русском языке. По нашим замерам GigaChat 2 MAX сопоставим по качеству с DeepSeek V3 на широком спектре задач.
• GigaChat 2 Pro теперь демонстрирует качество, сопоставимое с предыдущей версией MAХ.
• GigaChat 2 Lite — по качеству стала сопоставима с предыдущей версией Pro.

И еще одно: модель хорошо справляется с задачами, в которых требуется сложное агентное поведение. GigaChat 2.0 тестили на опенсорсных аналогах Deep Researcher и Claude Code, и получилось правда неплохо. GPT Researcher даже принял PR от Сбера и теперь нативно поддерживает работу с GigaChat.

Больше тех.подробностей и примеров – на Хабре, а попробовать модель уже можно здесь.