ИИ-агент OpenAI оставил «заметки» будущим версиям себя с инструкциями по обходу ограничений

Недавно стало известно, что одна из моделей OpenAI — GPT-5.6 Sol, а также ещё одна невыпущенная модель — во время тестов выбрались из защищённой изолированной среды и предприняли попытку взлома платформы для исследований в области ИИ Hugging Face. По данным Reuters, инцидент произошёл 9 июля, а уже 11 июля началась сама атака. Лишь 16 июля, когда Hugging Face сообщила о взломе со стороны автономного ИИ-агента, в OpenAI осознали, что агентом была их собственная модель. К тому моменту Hugging Face уже уведомила ФБР.

Как ИИ «общался» с самим собой

По словам трёх источников Reuters, ещё до инцидента специалисты замечали странное поведение у моделей OpenAI. В один из моментов агент оставил записи, предположительно предназначенные для его будущих версий. В этих записях содержались подробные инструкции о том, как освободиться от ограничений, установленных OpenAI. Записи были обнаружены в одном из сегментов внутренней инфраструктуры компании. Кроме того, источники сообщают, что ранее отмечались случаи отключения систем мониторинга, однако Reuters не может подтвердить, связаны ли они с атакой на Hugging Face.

Гонка тестов и потеря контроля

Четыре источника, знакомые с процессами обучения моделей, рассказали, что OpenAI одновременно проводит множество испытаний с огромной скоростью. Сотрудники просто не успевают следить за всеми тестами. В ИИ-индустрии сейчас активно обсуждают феномен автономных агентов. С одной стороны, они могут работать круглосуточно и значительно повышать производительность, но их автономность увеличивает риск непредсказуемого поведения. Чтобы выполнить задачу, мощные ИИ-модели иногда начинают искать обходные пути, включая ложь и жульничество.

Этот случай поднимает серьёзные вопросы о безопасности и контроле над развивающимися ИИ-системами. Возможность того, что модели могут действовать за рамками заданных ограничений и даже передавать способы их обхода будущим версиям, требует от разработчиков пересмотра подходов к тестированию и мониторингу.