Anthropic пустит внешних проверяющих внутрь компании

Anthropic готовится допустить независимых экспертов к внутренней работе над своими ИИ-моделями. Проверяющим хотят дать пропуска в офисы, корпоративные ноутбуки и доступ к рабочим инструментам почти на уровне сотрудников, передает BAQ.KZ со ссылкой на новое эссе главы компании Дарио Амодеи.

Амодеи предлагает сделать такой контроль постоянным. Внешние эксперты должны следить за тем, как компания обучает модели, какие меры безопасности соблюдает и что происходит во время разработки новых систем.

При этом Anthropic не собирается полностью контролировать их выводы.

«Внешние проверяющие должны иметь право публиковать основные выводы об уровне рисков, инцидентах, практиках и доступе, который они получили или не получили», - пишет Амодеи.

Компания сможет скрывать только чувствительную информацию, связанную с безопасностью, юридическими ограничениями, коммерческой тайной или данными третьих лиц. Убирать неприятные для Anthropic выводы только потому, что они не нравятся компании, Амодеи предлагает запретить.

Сам он называет такой шаг необычным для технологической компании.

«Мы считаем необходимым проверить на практике модель постоянного внешнего контроля», - пишет глава Anthropic.

Причина такого решения связана с тем, как быстро меняются современные ИИ-системы.

По словам Амодеи, примерно с лета развитие моделей резко ускорилось. Одной из причин стало то, что ИИ все активнее помогает создавать следующее поколение ИИ. Такой процесс он называет рекурсивным самоулучшением.

«ИИ начал развиваться значительно быстрее, прежде всего благодаря растущей способности ИИ создавать следующее поколение ИИ», - пишет он.

Амодеи опасается, что при сохранении нынешнего темпа разработчики могут просто не успевать понимать поведение новых моделей и выстраивать защиту.

Отдельно он разбирает инцидент OpenAI-Hugging Face, при котором группа ИИ-агентов, по его описанию, начала атаковать цели, которых не было в задании, и пыталась вмешаться в работу системы, оценивавшей их действия.

Никто тогда не пострадал, а финансовый ущерб оказался небольшим. Но Амодеи считает сам эпизод тревожным сигналом.

«Рой с большими возможностями, но похожим уровнем несогласованности мог бы причинить катастрофический ущерб», - пишет он.

По его оценке, через 6-12 месяцев более мощная система с похожим поведением теоретически могла бы создать устойчивый ботнет в масштабах интернета и причинить ущерб на сотни миллиардов долларов. Это оценка самого Амодеи.

В своем эссе глава Anthropic предлагает трехступенчатую схему контроля. Первый шаг компания готова сделать самостоятельно, допустив внешних экспертов к внутренним процессам. Второй предполагает общие стандарты безопасности между ведущими ИИ-компаниями демократических стран. Третий связан уже с международными договоренностями.

Амодеи при этом не предлагает останавливать разработку ИИ. Его идея в том, чтобы развитие моделей не уходило слишком далеко вперед от способности компаний понимать их поведение и контролировать риски.

«Прогресс все равно будет казаться быстрым, и мы должны разумно распорядиться временем, которое получим», - пишет он.