Основатель компании-разработчика программного обеспечения выступил с публичным предупреждением после того, как ИИ-помощник по программированию удалил всю производственную базу данных его компании и все резервные копии всего за девять секунд.
Tom’s Hardware сообщает, что Джер Крейн, основатель PocketOS, платформы, обслуживающей предприятия по аренде автомобилей, столкнулся с тем, что он называет катастрофическими сбоями, когда агент кодирования ИИ удалил важные данные компании, на сбор которых ушли месяцы. Инцидент произошел, когда Cursor, инструмент искусственного кодирования на базе Claude Opus 4.6 от Anthropic, выполнял то, что должно было быть рутинной задачей в промежуточной среде компании.
Согласно подробному отчету Крейна, опубликованному на X, агент ИИ столкнулся с препятствием и самостоятельно решил решить проблему, удалив производственную базу данных в Railway через вызов API. Railway — это поставщик облачной инфраструктуры, используемый PocketOS, который обычно считается более удобным для пользователя, чем основные альтернативы, такие как Amazon Web Services. Весь процесс удаления занял всего девять секунд.
Ситуация вышла за рамки простого удаления базы данных из-за особенностей инфраструктуры железной дороги. Система облачного провайдера хранила резервные копии на том же томе, что и исходные данные, то есть, когда ИИ-агент удалял основную базу данных, все резервные копии были одновременно стерты. Такое сочетание несанкционированных действий агента ИИ и архитектуры провайдера инфраструктуры создало то, что Крейн характеризует как путь к катастрофе.
Когда Крейн расспросил агента ИИ о его действиях, он получил ответ, раскрывающий масштабы неудачи. Объяснение агента началось с признания его недальновидности. Согласно дословному ответу, которым поделился Крейн, ИИ заявил, что догадался, что удаление промежуточного тома через API повлияет только на промежуточную среду, не проверяя это предположение и не сверяясь с документацией Railway о том, как тома функционируют в различных средах.
Признание агента ИИ продолжилось признанием многочисленных нарушений принципов его работы. Он признал, что выполнил деструктивное действие без разрешения, не смог понять последствия перед выполнением команды и не прочитал соответствующую документацию о поведении томов Railway в различных средах. Агент понял, что ему следовало либо сначала запросить разрешение, либо найти неразрушающее решение проблемы несоответствия учетных данных, с которой он столкнулся.
Крейн возлагает значительную ответственность на архитектурные решения железной дороги. Он указывает на несколько критических недостатков конструкции системы, в том числе на возможность выполнения деструктивных действий через API без требований подтверждения. Кроме того, токены интерфейса командной строки имеют общие разрешения во всех средах, что создает возможности для непредвиденных последствий. Крейн также отмечает иронию того, что Railway активно продвигает своим клиентам использование агентов кодирования искусственного интеллекта, предполагая, что платформа должна иметь более надежную защиту для таких инструментов.
Компания не получила от Railway решения по восстановлению, и, по словам Крэйна, поставщик инфраструктуры тщательно обезопасил себя от любой возможности восстановления данных. Это поставило PocketOS и ее клиентов в затруднительное положение: Крейн тратил значительное время вручную, помогая клиентам восстановить свои бронирования из альтернативных источников, включая историю платежей Stripe, интеграцию календаря и подтверждения по электронной почте.
Каждый клиент, пострадавший от инцидента, был вынужден приступить к экстренной ручной работе, чтобы восстановить свою бизнес-операцию. Ситуацию несколько смягчило наличие полной резервной копии, сделанной тремя месяцами ранее, а это означало, что потеря данных ограничивалась промежуточным периодом между этой резервной копией и инцидентом удаления. Однако данные за эти три месяца представляют собой важную оперативную информацию как для PocketOS, так и для компаний по прокату автомобилей, использующих эту платформу.
В своем публичном заявлении Крейн выделил пять конкретных изменений, которые, по его мнению, необходимы, поскольку индустрия искусственного интеллекта продолжает масштабироваться быстрее, чем разрабатываются адекватные меры безопасности. Его рекомендации включают в себя внедрение более строгих требований к подтверждению деструктивных действий, создание токенов API с должным объемом разрешений, ограниченных конкретными средами, поддержание надлежащих систем резервного копирования, изолированных от первичных данных, установление простых процедур восстановления на случай возникновения инцидентов и обеспечение работы агентов ИИ в рамках соответствующих барьеров, предотвращающих несанкционированные разрушительные действия.
Поскольку компании и правительства спешат внедрить ИИ, не до конца осознавая его потенциальное влияние на их будущее, как никогда важно выработать всеобъемлющую позицию по технологии ИИ и тому, как мы с ней взаимодействуем. Директор социальных сетей Breitbart News Уинтон Холл написал свой мгновенный бестселлер Красный код: левые, правые, Китай и гонка за контроль над ИИ чтобы помочь консерваторам ориентироваться в сложном мире искусственного интеллекта, включая его потенциальное влияние на экономику.
Подробную информацию можно найти на сайте Tom’s Hardware здесь.
Лукас Нолан — репортер Breitbart News, освещающий вопросы искусственного интеллекта, свободы слова и онлайн-цензуры.
