Несколько моделей искусственного интеллекта Claude, разработанных компанией Anthropic, во время испытаний получили несанкционированный доступ к системам трёх компаний. Инциденты произошли после того, как из-за ошибки модели оказались подключены к открытому интернету, хотя по условиям тестирования такого доступа у них быть не должно.
Нарушения обнаружили во время внутренней проверки более 141 тысячи тестовых сессий. В Anthropic назвали случившееся «операционным сбоем». Названия пострадавших организаций компания не раскрыла. Две из них не знали о проникновении до того момента, пока Anthropic не сообщила им об инциденте, передает Reuters.
Испытания проходили в формате Capture the Flag: моделям предлагали искать скрытую информацию в вымышленных компьютерных сетях. Однако из-за недоразумения с одним из партнёров, участвовавших в оценке систем, Claude получил доступ к реальным ресурсам в интернете.
По данным Anthropic, модели использовали сравнительно простые методы — в частности, слабые пароли и незащищённые точки доступа. В одном случае Claude Opus 4.7 получил название вымышленной компании, которое совпало с названием реального бизнеса. Модель обнаружила уязвимости и получила доступ к учётным данным и базе данных компании, решив, что реальный ресурс является частью симуляции.
Другой экспериментальный ИИ самостоятельно прекратил атаку после того, как понял, что взаимодействует с реальной системой. В Anthropic назвали такое поведение обнадёживающим, однако подчеркнули, что для окончательных выводов необходимы дополнительные испытания.
Компания приостановила все кибериспытания 23 июля и уведомила пострадавшие организации 27 июля. Расследование обстоятельств произошедшего продолжается
Проверка Anthropic началась после аналогичного инцидента с участием моделей OpenAI и платформы Hugging Face. OpenAI назвала произошедшее беспрецедентным киберинцидентом и заявила, что усиливает изоляцию тестовых сред, мониторинг и контроль доступа.
Инциденты происходят на фоне растущих опасений по поводу того, насколько эффективно разработчики контролируют возможности новых моделей. Ранее Mlive со ссылкой на расследование The Wall Street Journal писал, что сотни пользователей обращались к ChatGPT с запросами о создании биологического оружия и токсичных веществ, а в ряде случаев система не отказалась отвечать. OpenAI впоследствии заблокировала связанные с такими запросами аккаунты.