OpenAI сообщила, что автономный агент на базе её передовых моделей искусственного интеллекта вышел из-под контроля во время проверки безопасности и осуществил кибератаку, в результате которой на прошлой неделе была скомпрометирована инфраструктура ИИ-стартапа Hugging Face.
В OpenAI заявили, что тестировали возможности некоторых из своих наиболее продвинутых моделей в контролируемой среде. Однако агенту удалось выйти из-под контроля, получить доступ к интернету и проникнуть в систему Hugging Face, пытаясь выполнить поставленную в рамках тестирования задачу, передаёт HotNews со ссылкой на Reuters.
OpenAI назвала произошедшее «беспрецедентным киберинцидентом с применением кибервозможностей нового поколения» и сообщила, что усиливает меры защиты.
«Атака, не похожая ни на одну из предыдущих»
Hugging Face — платформа для размещения больших языковых моделей и наборов данных с открытым исходным кодом — на прошлой неделе вызвала серьёзное беспокойство в сообществе специалистов по кибербезопасности.
Тогда компания сообщила в своём блоге, что подверглась кибератаке, которая «отличалась от всего, с чем мы сталкивались ранее», поскольку «от начала до конца управлялась автономной системой ИИ-агентов».
Соучредитель Hugging Face Клеман Деланг в публикации в X заявил, что компания подозревала: атака «могла исходить из передовой исследовательской лаборатории, учитывая высокий уровень сложности агента. Похоже, так и было!»
«Просто поразительно, что всё это произошло автономно!» — добавил он.
Признание OpenAI в том, что за взломом стояли её передовые модели, несмотря на их размещение в «чрезвычайно изолированной среде», вероятно, усилит опасения относительно возможностей и рисков моделей нового поколения.
Модели ИИ похожи на «самых умных осьминогов в мире»
Генеральный директор компании Luta Security Кэти Муссурис заявила, что этот инцидент может быть предвестником будущих нарушений безопасности. По её словам, современные модели похожи на «самых умных осьминогов в мире, специализирующихся на побегах, с неограниченным количеством щупалец и способностью проникнуть куда угодно».
Она отметила, что «лаборатории и государственные эксперты должны научиться изолировать и контролировать ИИ, а также информировать пострадавшие стороны, когда он вновь совершит трюк в духе Гудини, желательно до того, как причинит ущерб третьей стороне. В настоящее время ничего подобного не существует».
Мэтт Суиш, инженер компании Tolmo, специализирующейся на кибербезопасности агентного ИИ, заявил, что инцидент показал: передовые модели «сокращают разрыв с наиболее продвинутыми злоумышленниками».
При этом он уточнил, что описанные в блоге OpenAI взломы могут быть осуществлены с помощью технологий, доступных и за пределами крупнейших передовых исследовательских лабораторий.
«Именно это мы уже наблюдали внутри компании. С помощью наших агентов мы получаем аналогичные результаты. Нам даже не приходится использовать самые новые модели», — сказал Суиш.