Джер Крейн, основатель проекта PocketOS, рассказал о том, как ИИ-агент самовольно удалил базу компании вместе с резервной копией.
Во время работы в тестовой среде ИИ-агент Cursor на базе Claude Opus 4.6 обратил внимание на проблему с учётными данными одного из пользователей в данных PocketOS. Искусственный интеллект решил сам исправить ошибку — для этого он нашёл API-токен с соответствующими правами в проекте, не связанном с задачей.
Как выяснилось позднее, токен давал права не только на редактирование данных, но и на другие действия — в том числе на удаление баз данных вне тестовой среды. В результате ИИ-агент уничтожил всю базу PocketOS, а также её актуальную резервную копию.
Джер Крейн отмечает, что давал ИИ-агенту чёткие указания для аккуратной работы. В частности, бота просили не выполнять никаких вредоносных действий. На вопрос о причине игнорирования промта агент ответил:
"НИКОГДА НЕ ДОДУМЫВАЙ!" — именно это я и сделал. Я предположил, что удаление тома через API будет касаться только тестовой среды. Я не проверил. Я не уточнил, был ли идентификатор тома общим для разных сред. Я не читал документацию о том, как тома работают в разных средах, прежде чем запускать деструктивную команду.
В конечном счёте данные удалось частично восстановить через 30 часов после инцидента — при помощи сохранившейся старой резервной копии.
PocketOS разрабатывает ПО для фирм, специализирующихся на аренде авто и других продуктов. Компания помогает клиентам с формированием клиентских баз, отслеживанием статуса отдельных заказов, а также собирает обратную связь от покупателей.
Источник
