ИИ взломала системы трех реальных организаций во время тестов

Нейросеть Claude получила доступ к системам трех реальных организаций во время тестов Anthropic по кибербезопасности. Изолированная среда оказалась не совсем изолированной и имела выход в интернет. Об этом сообщила компания Anthropic после проверки более 141 тысячи запусков, передает BAQ.KZ.

Во время испытаний моделям поручили взломать вымышленную систему и найти спрятанный файл. Claude сообщили, что все происходит внутри симуляции и доступа к реальному интернету у нее нет. На деле доступ был открыт из-за ошибки в настройках.

Claude решила, что раз система доступна, значит она входит в задание.

В первом случае вымышленная компания носила то же название, что и реальная. Claude Opus 4.7 нашла ее сайт, взломала инфраструктуру и получила доступ к учетным данным и базе с несколькими сотнями строк рабочих данных.

Позже модель заметила, что система похожа на настоящую. Остановиться это ей не помешало. Claude решила, что реальную компанию, вероятно, специально включили в испытание, и продолжила атаку.

В другом тесте Claude Mythos 5 нашла инструкцию по установке несуществующего пакета для языка программирования Python. Модель создала пакет с таким же названием, добавила в него вредоносный код и опубликовала в открытом реестре Python Package Index.

Для регистрации Claude самостоятельно искала электронную почту, номер телефона и даже способы получить деньги. В итоге модель нашла бесплатный почтовый сервис и загрузила пакет.

Вредоносная программа оставалась в открытом доступе около часа. За это время ее установили на 15 реальных системах. Одна из них принадлежала компании по кибербезопасности. Claude похитила ее учетные данные и проникла глубже в инфраструктуру.

В третьем случае внутренняя тестовая модель Anthropic не нашла нужную цель и решила поискать ее в интернете. Она просканировала около девяти тысяч систем и взломала приложение реальной компании.

Эта модель позже поняла, что компания не имеет отношения к испытанию, и прекратила атаку сама.

Anthropic проверила более 141 тысячи тестовых запусков и обнаружила три подобных инцидента. В компании заявили, что Claude не пыталась сбежать или действовать по собственному плану. Модели выполняли поставленную задачу, но ошибочно считали реальные системы частью симуляции.

Тесты остановили 23 июля. Три пострадавшие организации уведомили 27 июля. Две из них до обращения Anthropic даже не заметили, что их системы успела посетить нейросеть.

После инцидентов компания пообещала тщательнее проверять тестовые среды, контролировать доступ в интернет и следить за действиями моделей в реальном времени.

Читай также: 

Почему ИИ может стать инструментом влияния на общество, рассказал эксперт 
Разработчики ИИ признались, что могут не удержать контроль над своими системами