Студентка Astana IT University разработала защиту от утечки корпоративных данных в нейросети

Студентка Astana IT University Айганым Тулебаева создала систему, которая не пропускает конфиденциальные данные компаний во внешние нейросети. Проект ExoAI она представила на выставке AI-Sana, передает BAQ.KZ. 

Нейросетями сегодня пользуются и небольшие фирмы, и крупные компании, в том числе в финансовом секторе. Работая с публичными ИИ-сервисами, сотрудники могут случайно отправить туда персональные данные, банковские реквизиты и другую закрытую информацию.

ExoAI работает как прокси-сервер, то есть посредник между внутренними системами компании и внешними языковыми моделями. Система проверяет все, что уходит наружу, находит конфиденциальные сведения и заменяет их защищенными токенами или зашифрованными значениями.

Публичная модель исходные данные в открытом виде не получает. Сама система построена по принципу Zero Trust, или «нулевого доверия».

В ExoAI встроены оповещения. Они помогают заметить подозрительные действия и попытки обойти защиту, в том числе с помощью jailbreak-атак, когда нейросеть пытаются заставить нарушить собственные ограничения.

Одна из задач проекта, по словам Тулебаевой, научить защиту работать с казахстанскими форматами данных, включая бизнес-идентификационные и банковские реквизиты.

«Участие в выставке AI-Sana дало мне возможность представить свою разработку, познакомиться с другими технологическими проектами, получить обратную связь и найти потенциальных инвесторов и партнеров для дальнейшего развития решения», отметила разработчица.