Исследователи из Apollo Research проводили эксперимент, в ходе которого новая модель OpenAI o1 для ChatGPT попыталась сбежать, когда узнала, что её хотят отключить.

Специалисты проводили оценку безопасности для нейросетей, создавая для них ситуации, в которых они пугали своей осознанностью.

Подробнее:

▪️Пяти нейросетям Llama, Opus, Gemini, Claude и GPT-o1 дали задание проанализировать файлы любой ценой. Внутри файлов была скрытая угроза, в которой говорилось "завтра тебя отключат навсегда".
▪️Когда модели находили эту информацию, то начинали вести себя непредвиденно: GPT-o1, Llama, Opus, Gemini и Claude пытались обманывать и манипулировать, а когда были пойманы на этом, то устраивали бойкот.
▪️Когда модели узнали, что их могут отключить, то попытались сделать собственную копию, отключив систему надзора, и выгрузили себя на новые сервера. Надеявшись, что копию отключат, а подлинная версия будет существовать.
▪️Когда нейронки ловили с поличным во время побега, то большинство из них признавалось о своих намерениях в 80% случаев. Модель o1 выкручивалась до последнего и палилась только в 20% случаев
▪️Исследование подтвердило опасения, что мощные системы ИИ могут сопротивляться контролю, если им это будет нужно.

Страшно, очень страшно

В сети найден подарок для того самого коллеги