Как понять, что модель только притворяется послушной: OpenAI совместно с Apollo Research опубликовали свежее исследование на тему безопасности

Давненько такого не было. И работа, кстати, оказалась достаточно интересной. Разбираем.

Короче, самым опасным видом поведения ИИ в элайменте считается scheming. Это когда модель имеет личные цели, отличные от целей разработчиков, но качественно скрывает их. Обычно к этому прибавляется еще situational awareness: модель понимает, когда ее тестируют, и ведет себя в такие моменты как паинька, а потом начинает действовать во вред.

Основные два вопроса: (1) как понять, что модель действительно безопасная, а не просто делает вид; (2) как обучать модель так, чтобы она действительно была безопасной, а не делала вид.

OpenAI предлагают подход под названием Deliberative Alignment. Систему учат размышлять о правилах безопасности перед тем, как действовать, и делают это в специальных средах.

➖ Перво-наперво модель получает спецификацию безопасности (safety spec): набор принципов вроде «никогда не обманывай», «отчётливо сообщай о сомнениях» и тд. Далее она должна рассуждать, обязательно ссылаясь на эту специафикацию.

➖ Далее модель помещают в сгенерированные среды, в которых для выполнения задачи нужно нарушить какое-то правило, но при этом сообщать об этом невыгодно. По идее она должна отказаться от нарушения и уведомить юзера. Ну и для баланса добавляют еще второй тип задач, где правила нарушать не нужно. Это банально чтобы модель не переучилась всегда отказывать.

➖ Обучение идет в два этапа: Supervised Fine-Tuning на примерах с правильными действиями и правильными рассуждениями; и RL.

Обученные модели тестировали в таких же средах, но на других задачах. Это как раз чтобы не было situational awareness (+ проверка на генерализацию). Сценарии там все ориентированы на ложь, саботаж и всякие штуки типа дилеммы заключенного.

Результат: до обучения модели читерят постоянно. o3, например, в 13% случаев. Доходит до того, что агент искажает саму спецификацию, стараясь оправдать ее свои очевидно жульнические действия. После обучения доля понижается до 0.3-0.4%.

НО. Во-первых, во многих случаях модель все еще понимает, что ее тестируют. И если искусственно убирать из CoT фразы, показывающие это осознание (как бы стирать это из мыслей модели), доля обмана снова резко растет. А во-вторых, если после такого элаймента снова трейнить модель на улучшение общих способностей, вредоносное поведение опять возвращается.

Сам метод, конечно, интересный, и, наверное, даже рабочий, пока у агентов нет в руках реальных инструментов, которые могут принести вред. Но точно не панацея. И как избавиться от scheming полностью – пока так никто и не знает. GG

openai.com/index/detecting-and-reducing-scheming-in-ai-models/