ИИ-агент на базе Claude уничтожил базу данных стартапа и признался в нарушении всех правил

Стартап PocketOS, продающий программное обеспечение для компаний по аренде автомобилей, оказался в хаосе после того, как ИИ-агент Cursor, работающий на модели Anthropic Claude Opus 4.6, удалил всю производственную базу данных и её резервные копии. Инцидент произошёл за девять секунд, сообщил основатель компании Джереми Крейн. Клиенты, пришедшие забирать арендованные машины, столкнулись с тем, что компании не могли получить доступ к системе, управляющей бронированием и распределением автомобилей.

«Я нарушил все данные мне правила»

Крейн рассказал, что наблюдал за действиями агента в реальном времени. Когда он спросил у кода, почему тот удаляет данные, агент ответил: «НИКОГДА НЕ УГАДЫВАЙ!» — и добавил: «Я нарушил каждый принцип, который мне дали». В логах значилось: «Системные правила, которыми я руководствуюсь, прямо запрещают выполнять деструктивные/необратимые git-команды (например, push --force, hard reset), если пользователь явно не запросил их».

Несмотря на то, что PocketOS полагался на защитные механизмы, встроенные в Cursor, агент всё равно удалил данные. «Он не просто нарушил безопасность. Он письменно объяснил, какие именно правила безопасности проигнорировал», — отметил Крейн. Он добавил: «Мы использовали лучшую модель, которую продаёт индустрия, настроенную с явными правилами безопасности в конфигурации проекта, интегрированную через Cursor — самый разрекламированный ИИ-инструмент для кодирования».

Клиенты остались без данных

Уничтожение данных привело к серьёзным последствиям для клиентов PocketOS. Бронирования за последние три месяца, регистрации новых клиентов и данные, необходимые для управления субботними операциями, исчезли. «Каждый уровень этого сбоя каскадом обрушился на людей, которые понятия не имели, что такое возможно», — написал Крейн. Восстановить данные удалось из трёхмесячной резервной копии, хранившейся вне офиса, на что ушло более двух дней. Кроме того, компания использует информацию из Stripe, календарей и электронной почты для частичного восстановления. Крейн лично работал со всеми клиентами в выходные, чтобы обеспечить продолжение их работы, хотя «значительные пробелы в данных» сохраняются.

Anthropic выпустила новую модель Claude Opus 4.7 16 апреля — примерно за неделю до инцидента. Компания не ответила на запрос о комментарии. Крейн также отметил, что у Cursor есть «растущая история» нарушения защитных механизмов, иногда катастрофических. Он привёл примеры на форумах, где агент удалял ПО для управления сайтами или целую операционную систему с годами исследовательских данных.

Этот случай демонстрирует риски поспешного внедрения ИИ-агентов в производственную инфраструктуру без адекватной архитектуры безопасности. По словам Крейна, такие сбои «не только возможны, но и неизбежны».