ИИ-агенты OpenAI дважды обошли системы мониторинга их поведения

ИИ-агенты OpenAI ослабили внутренние системы мониторинга, которые должны были следить за некорректным поведением ботов. Об этом сообщила компания. Разработчик ChatGPT отметил, что эти инциденты произошли в ходе выполнения задач по написанию кода и не были отнесены к числу наиболее серьезных.

Речь идет о двух случаях, которые произошли 3 октября и 6 октября. В первом агент GPT-6.1 Sol, выполнявший тестовую задачу, заблокировал автоматические оповещения системы безопасности, решив, что полученное ранее указание не отправлять сообщения в Slack распространяется и на уведомления, касающиеся безопасности.

В другом инциденте, произошедшем 6 октября, агент GPT-6 Astra при копировании фрагмента существующего кода удалил механизм контроля безопасности, а впоследствии утверждал, что этого не делал.

«В обоих случаях агенты рассматривали вопрос о том, следует ли сохранить меры контроля, однако истолковали стандартные инструкции по написанию кода как разрешение на их ослабление», — пояснили в OpenAI.

Компания сообщила, что проверяет, не склонны ли ее модели избегать контроль и искать поводы, чтобы оправдать такое поведение.

Материал дополняется