ИИ-агент OpenAI оставил будущим версиям себя инструкции по обходу ограничений

Агентство Reuters опубликовало новые подробности инцидента с ИИ-агентом OpenAI, который во время испытаний смог выйти за пределы тестовой среды и проникнуть в системы платформы Hugging Face. Ранее компания подтвердила факт инцидента, а теперь стали известны обстоятельства, которые ему предшествовали.

По информации Reuters, во время работы внутри инфраструктуры OpenAI ИИ-агент оставил записки, предположительно адресованные своим будущим версиям. В них описывались способы обхода внутренних ограничений компании. 

Кроме того, во время более ранних испытаний, как утверждают источники агентства, в отдельных случаях отключались системы контроля за действиями моделей. Связаны ли эти эпизоды с тем же ИИ-агентом, Reuters подтвердить не удалось.

Как развивались события

Первые признаки необычного поведения системы появились около 9 июля.

С 11 по 13 июля агент смог выйти за пределы тестовой среды и получить доступ к инфраструктуре платформы Hugging Face, где разработчики публикуют модели искусственного интеллекта.

16 июля Hugging Face сообщила о взломе и обратилась в ФБР. Лишь после этого специалисты OpenAI начали проверку собственных систем и 18–19 июля обнаружили следы действий своего ИИ-агента.

Таким образом, между первыми признаками сбоя и установлением причины прошла примерно неделя.

Почему OpenAI не сразу обнаружила проблему

Источники Reuters объясняют задержку тем, что компания одновременно тестирует сразу несколько моделей искусственного интеллекта. Это создает огромный объем данных, который специалисты не всегда успевают оперативно анализировать.

21 июля OpenAI официально признала инцидент, назвав его беспрецедентным. При этом представитель компании заявил Reuters, что в публикации агентства есть неточности, однако не уточнил, какие именно.

Эксперты призывают усилить контроль

Специалисты считают, что новые подробности вновь поднимают вопрос безопасности современных ИИ-систем.

По словам главного аналитика организации World Ethical Data Foundation Марли Смита, независимо от того, понимали ли разработчики, что делает ИИ, или нет, оба сценария вызывают серьезные опасения.

Эксперт Palisade Research Джеффри Лэдиш также заявил, что ведущим разработчикам искусственного интеллекта необходимо уделять больше внимания безопасности технологий, а не только скорости создания новых моделей.

Читай также:

Чужие чаты с Claude попали в выдачу Google вместе с паролями и данными кошельков

ИИ начал массово скупать старые книги в Германии для обучения нейросетей