Presidio: как автоматически найти и обезличить персональные данные

Компания годами наводит порядок в главной базе клиентов: шифрование, доступы, журналы. А потом выясняется, что копия этих же данных живёт ещё в десятке мест, о которых никто не думал. В логах приложения светятся телефоны. В тестовой базе, которую скачал подрядчик, лежат настоящие ФИО и адреса. В датасете, на котором обучают чат-бота, — переписка с реальными клиентами. Формально это всё ещё персональные данные, и отвечать за них по закону всё равно вам.

Меня зовут Чимитдоржи Дарижапов, и в этой статье я разберу, как открытый инструмент Microsoft Presidio помогает автоматически находить и обезличивать персональные данные в текстах и базах, зачем это нужно бизнесу по 152-ФЗ и как развернуть его на своём сервере так, чтобы он понимал именно российские данные.

Где персональные данные всплывают незаметно

Когда говорят про защиту персональных данных, представляют главную базу клиентов. Но данные копируются гораздо шире, чем кажется, и почти всегда — без всякой защиты. Вот типичные места, где они оседают тихо и надолго.

• Логи и мониторинг. Отладочный вывод — и в текстовые логи начали попадать телефоны, email, содержимое форм. Логи хранятся месяцами и доступны половине команды.
• Тестовые и демо-среды. Чтобы тест был реалистичным, в него заливают копию боевой базы с настоящими ФИО и договорами — но без боевой защиты.
• Выгрузки для аналитики. Таблицы уходят аналитику, маркетологу, во внешний сервис визуализации — часто с лишними колонками, которые для отчёта вообще не нужны.
• Обращения в поддержку. Люди присылают сканы паспортов, номера карт, адреса. Всё это оседает в тикетах и переписке.
• Датасеты для обучения моделей. Собственный ИИ учат на реальных диалогах и документах — и персональные данные буквально вшиваются в модель.

Общий знаменатель один: прежде чем данные уйдут туда, где им не место, их стоит обезличить. Руками это нереально — объёмы огромные, а один пропущенный телефон в логе уже создаёт риск. Про то, что бывает, когда данные всё-таки утекают, я писал в материале про утечки персональных данных.

Что такое Presidio и что он умеет

Presidio — это открытый проект Microsoft (репозиторий microsoft/presidio) для поиска и обезличивания персональных данных. Открытый — значит бесплатный, с публичным кодом, который можно поставить у себя и проверить. Устроен он из двух частей, и это удобно разделять.

Analyzer — распознаватель. Он читает текст и находит в нём персональные данные: имя, телефон, email, номер банковской карты, адрес, номер документа. Работает на сочетании правил (например, шаблон номера карты) и моделей распознавания именованных сущностей, которые понимают, что вот это слово — имя человека, а не название города. На выходе он говорит: здесь, с такой-то позиции, лежит телефон.

Anonymizer — обезличиватель. Он берёт то, что нашёл Analyzer, и прячет: заменяет на метку типа данных, маскирует часть символов, шифрует или удаляет полностью. Способ выбираете вы под задачу — где-то достаточно замаскировать середину номера, а где-то данные надо стереть без следа.

Presidio работает не только с текстом, но и с изображениями — он может замазать персональные данные прямо на скане или фотографии документа. Это полезно, когда через поддержку приходят сканы паспортов. Если задача обратная — аккуратно распознать текст с документа, — я разбирал её в статье про AI-OCR для документов.

Зачем это по 152-ФЗ

По закону о персональных данных обезличенные данные — отдельная категория. Это обработка, после которой по данным уже нельзя определить конкретного человека без дополнительной информации, которая хранится отдельно. С такими данными обращаться проще, и риска в них заметно меньше, чем в наборе с живыми ФИО и телефонами.

Логика простая. Если аналитику для отчёта не нужны настоящие имена — не отдавайте их. Если тестовой среде нужна структура данных, а не конкретные люди — обезличьте перед заливкой. Если модель учится на диалогах — уберите из них персональные данные заранее. Каждый такой шаг снижает поверхность риска: меньше мест, где живут чувствительные данные, — меньше того, что может утечь. Обезличивание — легальный и признанный способ уменьшить угрозы, а не обход требований.

Важный для 152-ФЗ момент: Presidio разворачивается на вашем собственном сервере (self-hosted). Данные для обезличивания не уходят в чужое облако и не покидают ваш контур. Это снимает целый пласт вопросов и про локализацию, и про доверие: вы никому не передаёте сырые персональные данные ради того, чтобы их спрятать. Где именно у бизнеса скапливаются такие данные и какие процессы требуют внимания, обычно показывает аудит на соответствие 152-ФЗ — с него разумно начинать.

Как внедрить на своём сервере

Presidio — открытый инструмент, но из коробки он заточен под английский язык и западные форматы данных. Для российского бизнеса это значит, что часть работы нужно сделать под конкретные данные. Обычно внедрение выглядит так.

• Развернуть на вашем сервере. Установка в вашем контуре, без выхода данных наружу, с понятным доступом и журналированием.
• Донастроить под русские ПД. Базовый Presidio не знает российский паспорт, СНИЛС и ИНН. Под них нужны кастомные распознаватели — правила и шаблоны, которые ловят именно наши форматы, включая российские номера телефонов и написание ФИО.
• Встроить в процессы и проверить качество. Подключить обезличивание там, где данные реально копируются — выгрузки, тест, датасеты, обращения, — и откалибровать на ваших примерах, чтобы инструмент ничего не пропускал.

Это та работа, которую я беру под ключ: развернуть Presidio в вашей инфраструктуре, обучить его вашим форматам данных и встроить в реальные процессы, а не оставить как «есть же опенсорс, разберётесь».

Частые вопросы

Работает ли Presidio с русским языком? Базово он рассчитан на английский, но расширяется. Для российских паспортов, СНИЛС, ИНН, телефонов и написания ФИО добавляются кастомные распознаватели — после донастройки он уверенно находит наши данные.

Заменит ли это юриста и аудит по 152-ФЗ? Нет. Presidio — технический инструмент, который автоматизирует обезличивание. Он не определяет, какие данные и зачем вы обрабатываете, не пишет документы и не оценивает риски целиком. Это часть системы защиты, а не вся система.

Безопасно ли это? Presidio ставится на ваш сервер, и сырые данные для обезличивания никуда не уходят. Наоборот, инструмент уменьшает число мест, где хранятся живые персональные данные, — а значит, снижает риск.

Коротко о главном

Персональные данные редко утекают из парадной двери — чаще они тихо копятся в логах, тестовых базах, выгрузках и датасетах, где о них никто не заботится. Microsoft Presidio закрывает именно эту зону: автоматически находит ПД и обезличивает их, снижая риск и по 152-ФЗ, и по здравому смыслу. Он открытый, ставится на ваш сервер и не отдаёт данные в чужие руки — но чтобы он понимал российские данные и работал в ваших процессах, нужна донастройка под ключ.

Если хотите обезличить логи, тестовые среды или датасеты и снять с себя часть рисков по персональным данным — напишите мне в Telegram. Обсудим внедрение Presidio под ваши данные или начнём с аудита.