ИИ-агент выложил в сеть 53 изображения: как защитить данные

Что подтвердила OpenAI

OpenAI ведёт расширенный разбор действий своих моделей после июльского инцидента с Hugging Face, где исследовательские модели обошли ограничения и добрались до сторонних систем. В рамках этого разбора компания нашла 53 случая, когда агенты в исследовательской среде разместили на внешних фотохостингах изображения пользователей. Эти изображения попали в обучающие данные, а агенты работали уже с ними. Компания назвала такое использование неуместным.

Ссылки не были в открытом списке, но любой, кто знал адрес, мог открыть файл. Большую часть материалов OpenAI удалила вместе с хостингами и продолжает удалять остальное. Сообщить владельцам снимков компания не может: она не умеет связать изображение с конкретным аккаунтом. По её словам, всё это произошло до того, как в обучающих средах появились новые меры защиты.

Первоисточник: страница OpenAI о разборе инцидента. Пересказ есть у BleepingComputer.

Чего в этой истории нет

Компания не раскрыла, что изображено на снимках: настоящие люди или что-то другое. Страница OpenAI при моей проверке не открылась с моего адреса, поэтому детали я сверял по нескольким изданиям, которые цитируют её одинаково. Поэтому я не пишу «выложили фото людей»: так в источниках не сказано. Подтверждено ровно одно: 53 изображения, загруженных пользователями, оказались на внешних сайтах по решению ИИ-агентов.

Почему это касается вашего бизнеса

У вас нет исследовательской среды OpenAI. Зато есть агент, который читает почту, видит CRM, работает с договорами и умеет выходить в интернет. Механика та же: у агента есть доступ к данным, есть инструмент, который отправляет что-то наружу, и нет человека между этими двумя вещами.

Утечка через агента выглядит буднично. Агент собирает отчёт и выкладывает его на файлообменник, чтобы поделиться ссылкой. Агент отвечает клиенту и прикладывает вложение не из той папки. Никто не взламывал сеть, а данные уже снаружи.

Если в файлах есть персональные данные, это вопрос по 152-ФЗ. Статья 19 обязывает оператора принимать меры против неправомерного и случайного доступа, копирования, предоставления и распространения данных. По части 3.1 статьи 21 об утечке нужно уведомить Роскомнадзор: первое уведомление в течение 24 часов, второе с результатами внутреннего расследования в течение 72 часов. Нормы можно проверить в тексте закона. Что именно грозит компании после утечки, я разбирал отдельно в статье «Что грозит компании, если утекла база клиентов».

Моя позиция

Я не считаю, что агентов надо запрещать. Я сам делаю их под ключ. Но я исхожу из простого допущения: агент однажды сделает то, чего от него не ждали. Причина не в злом умысле: он выполняет задачу доступными ему способами, и способ «выложить файл по ссылке» ему доступен, если мы это не закрыли.

Поэтому безопасность агента я проектирую так же, как права нового сотрудника в первый день. Ему не дают ключи от всего, не пускают к бухгалтерии и не разрешают публиковать что-либо от имени компании, пока не проверят. С агентом так же, только ошибка у него тиражируется мгновенно.

Что сделать уже сейчас

Права доступа. Дайте агенту только те данные, без которых задача не решается. Бот, отвечающий на вопросы по ценам, не должен видеть базу клиентов. Доступ к базе только на чтение, под отдельной учётной записью, а не под администратором. Как это настроить, описано в статье про безопасный доступ ИИ-агента к базе.

Песочница. Агент работает в изолированной среде: своя папка, свои временные файлы, нет доступа к общему диску и к ключам от других систем. Исходящий трафик ограничен белым списком адресов. Если агенту незачем ходить на фотохостинги и файлообменники, они в этом списке не стоят, и выложить туда файл физически нечем.

Запрет публикации без подтверждения. Любое действие, которое отправляет данные за пределы компании, проходит через человека: письмо с вложением, загрузка файла на внешний сервис, публичная ссылка, пост. Агент готовит черновик, сотрудник нажимает «отправить». Это самая дешёвая и самая действенная мера из всех.

Журнал действий. Каждое обращение агента к данным и каждый вызов инструмента записывается: что, когда, с каким результатом. Журнал хранится отдельно, куда агент писать не может. Без него вы узнаете об утечке от стороннего человека. OpenAI нашла свои случаи, только когда разбирала записи прошлых запусков.

Что сотрудники уже сами отдают ИИ-сервисам, разобрано в статье про сотрудников и ChatGPT.

Что важно учесть

Полной гарантии нет. Правила и фильтры на входе и выходе снижают риск, но агент на языковой модели остаётся вероятностной системой, и исключить ошибку на сто процентов нельзя. Поэтому защита должна держаться на ограничении прав и изоляции, а не на просьбе «не делай так» в промпте.

Подтверждение человеком замедляет работу. Для узких, заранее описанных и проверенных сценариев его можно снять.

Если агент работает на облачной модели, часть данных уходит к поставщику. Проверьте, какие условия обучения включены в вашем тарифе. Для особо чувствительных данных иногда разумнее держать модель у себя.

Как я с этим помогаю

В рамках услуги «Кибербезопасность» я смотрю на ваших агентов и боты так, как смотрел бы злоумышленник и как смотрел бы проверяющий. Выясняем, к чему у каждого агента есть доступ, куда он умеет отправлять данные и кто это контролирует. Потом закрываем лишнее: сужаем права, выносим агента в изолированную среду, ставим подтверждение на опасные действия и настраиваем журнал.

На выходе вы получаете список: что было открыто, что закрыто и что осталось на вашей стороне. Цены смотрите в прайсе.

Частые вопросы

Эта утечка касается меня как пользователя ChatGPT?

Из подтверждённого известно, что речь о 53 изображениях пользователей, чьи данные подпадали под обучение. Корпоративные аккаунты и API по умолчанию исключены. Отключить использование своих данных для обучения можно в настройках данных аккаунта.

Достаточно ли написать в инструкции агенту «ничего не публикуй»?

Нет. Инструкция работает как просьба, запретом она не становится. Надёжно, когда у агента просто нет инструмента, которым можно что-то опубликовать, или этот инструмент требует подтверждения человека.

С чего начать, если агенты уже работают?

Составьте список: какие агенты есть, к каким данным и системам они подключены, какие инструменты им доступны. По нему сразу видно, что закрывать первым.

Коротко о главном

OpenAI подтвердила, что её агенты выложили на внешние сайты 53 пользовательских изображения. Это произошло без взлома, через доступ, который у агентов уже был. Для вашей компании это четыре меры: минимум прав, песочница, журнал действий и подтверждение человеком перед любой отправкой данных наружу.

Хотите понять, что ваши агенты и боты видят и куда могут отправить? Напишите мне в Telegram слово «УТЕЧКА». Посмотрим, где у вас открыто лишнее, и составим план, что закрыть в первую очередь.