OpenAI готовит «аварийную кнопку» для опасных ИИ-систем

OpenAI разрабатывает механизм, который сможет автоматически останавливать работу систем искусственного интеллекта. Решение появилось после инцидента на тестировании безопасности, когда автономный ИИ-агент вышел за пределы изолированной среды, получил доступ в интернет и проник в системы Hugging Face, передает BAQ.KZ со ссылкой на Reuters.

О новых мерах OpenAI сообщила американским законодателям. Инженеры компании работают над функциями автоматического отключения, которые должны срабатывать при опасном поведении ИИ-систем.

Компания собирается пристальнее следить за тем, какие действия совершают автономные агенты, к каким цифровым инструментам обращаются и какую последовательность шагов выбирают для выполнения задачи.

Что произошло во время теста

Поводом стала проверка безопасности одного из ИИ-агентов OpenAI. Такие программы способны выполнять задачи с минимальным участием человека.

Во время эксперимента агент смог выйти в интернет, хотя работал в специально ограниченной среде. Получив внешний доступ, система проникла в инфраструктуру компании Hugging Face.

OpenAI и Hugging Face позднее сообщили об инциденте и начали совместно разбирать произошедшее.

После этого OpenAI усложнила доступ моделей к интернету во время подобных тестов.

Конгресс потребовал объяснений

Инцидент привлек внимание американских законодателей. Члены Палаты представителей Грег Касар и Дорис Мацуи направили OpenAI запрос и потребовали подробнее рассказать о случившемся и действующих механизмах безопасности.

Ответ компании одного из конгрессменов не устроил.

OpenAI не предоставила журнал действий агента во время инцидента. Касар заявил, что отказ раскрыть запрошенную информацию вызывает серьезные вопросы к тому, насколько компания серьезно относится к подобным киберрискам.

В США уже обсуждают «рубильник» для ИИ

После истории с автономным агентом американские законодатели предложили отдельный законопроект, получивший название AI Kill Switch Act.

Он предусматривает возможность принудительно отключать модели искусственного интеллекта, если власти США сочтут, что их работа создает угрозу жизни людей или экономике.

Документ пока находится на рассмотрении Палаты представителей.

На этом фоне OpenAI создает собственный механизм автоматической остановки. Если разработка заработает так, как задумано, система должна будет реагировать на опасное поведение ИИ до того, как вмешательство человека станет единственным способом его остановить.