Бумажные анкеты и бланки в таблицу: распознавание вместо ручного набора

В офисе стоит коробка с бумагами. Анкеты клиентов, заявления, бланки заказов, журналы учёта за прошлые годы. Кто-то должен перенести их в таблицу. Обычно это делает сотрудник, который набирает всё руками и ошибается в цифрах к вечеру. Я делаю распознавание таких документов на заказ. Расскажу, как это работает, что распознаётся хорошо, а что нет, и как обращаться с персональными данными.

Как работает распознавание бланков

Сначала документ превращается в картинку. Подойдёт сканер или телефон. Скрипт выравнивает перекошенный лист, убирает тени, повышает контраст.

Затем он находит поля. У типового бланка поля всегда на одних и тех же местах: фамилия здесь, телефон там, дата внизу. Я один раз размечаю шаблон, и скрипт знает, откуда что брать. Если бланки разные, скрипт ищет поля по подписям рядом с ними.

Дальше распознавание текста в каждом поле. Как в целом устроено распознавание текста с фото, я разбирал в статье OCR: распознать текст с фото. Здесь важно другое: каждое поле получает оценку уверенности. Если уверенность низкая, поле помечается.

В конце проверка по правилам. Телефон должен содержать нужное число цифр, дата должна быть датой, ИНН проходит контрольную сумму. Всё, что не прошло, тоже помечается для человека.

Что распознаётся хорошо, а что нет

Человек проверяет сомнительное, а не всё

Распознавание не даёт идеального результата, особенно на рукописи. Но смысл не в том, чтобы убрать человека совсем. Смысл в том, чтобы он не набирал весь документ, а смотрел только на спорные места.

Для этого есть простой экран проверки. Слева кусок скана с полем, справа распознанное значение. Сотрудник подтверждает или исправляет и идёт к следующему. Поля с высокой уверенностью он не видит вовсе. Каждое исправление можно учитывать, чтобы потом донастроить распознавание под ваши бланки.

Похожий подход я использую для накладных поставщиков, где цифры особенно важны. Подробнее в статье накладные поставщиков в 1С: распознавание.

Персональные данные и сканы

Анкета клиента — это фамилия, телефон, адрес, иногда паспортные данные и сведения о здоровье. Отправлять такие сканы в случайный онлайн-сервис распознавания рискованно. Непонятно, где они хранятся и кто их увидит.

Поэтому я предпочитаю обработку на вашем компьютере или сервере. Модели распознавания работают локально, сканы никуда не уходят. Папка со сканами закрыта, доступ есть у тех, кому он нужен по работе. Заранее решаем, сколько хранить сканы после переноса и кто их удаляет.

Какие требования закона действуют в вашем случае, какие согласия нужны и где должны храниться данные, лучше уточнить у юриста. Я настраиваю техническую часть так, чтобы её было легко привести в соответствие с его рекомендациями.

Как это выглядит, когда настроено

Администратор в конце дня кладёт стопку анкет в сканер с автоподачей. Сканы падают в папку. Скрипт забирает их, распознаёт и записывает строки в таблицу.

Утром сотрудник открывает экран проверки. Там только помеченные поля: неразборчивый телефон, фамилия с непонятной буквой, дата в неправильном формате. Он проходит их, глядя на кусок скана, и подтверждает. Остальные поля уже в таблице.

У каждой строки есть ссылка на скан. Если позже возникнет вопрос, что написал клиент, оригинал открывается в один клик. Бумажная коробка уходит в архив, а данные ищутся поиском.

Как заказать такую задачу

Пришлите пустой бланк и несколько заполненных примеров. Если в них есть реальные данные, закройте их или пришлите тестовые экземпляры. Покажите таблицу, куда должны попадать данные, или скриншот. Опишите, как это делается руками сейчас и сколько документов проходит за день или лежит в архиве.

Я делаю пробное распознавание и даю оценку: какие поля распознаются уверенно, какие потребуют проверки. Затем настраиваю шаблоны, правила проверки и экран для сотрудника.

При передаче вы получаете рабочую систему, инструкцию, как сканировать и проверять, и доступы на ваш компьютер или сервер. Есть гарантийный срок: если в нём что-то сломалось по моей вине, исправляю.

Разово подходит для архива: перенести коробку старых документов и закрыть задачу. Абонентка удобнее для постоянного потока, когда появляются новые бланки и нужна донастройка. Подробнее — на странице разовые задачи: скрипты, парсеры, выгрузки.

Частые вопросы

Можно ли фотографировать на телефон вместо сканера?

Можно. Скрипт выравнивает и чистит фото. Но при хорошем освещении и ровном листе результат лучше.

Справится ли с плохим почерком?

Частично. Неразборчивые поля будут помечены, и их проверит человек. Полностью убрать ручную работу на плохой рукописи не получится.

Что если бланков несколько видов?

Для каждого делается свой шаблон. Скрипт сам определяет вид бланка по заголовку или по расположению полей.

Куда попадают данные?

В таблицу, базу или CRM. Если у системы есть API, данные уходят туда сразу после проверки.

Зачем, если можно сделать электронную анкету?

Для новых клиентов электронная форма действительно лучше. Распознавание нужно для архива и для случаев, когда бумага пока остаётся.

Коротко о главном

Бумажные анкеты, заявления, бланки и журналы можно перевести в таблицу без ручного набора. Скрипт выравнивает скан, находит поля, распознаёт их и проверяет по правилам.

Печатный текст распознаётся хорошо, рукописный хуже. Поэтому человек смотрит только на помеченные поля. Сканы с персональными данными лучше обрабатывать у себя, а требования к хранению уточнить у юриста.

Если у вас копятся бумажные документы и кто-то набирает их вручную, пришлите пустой бланк и пару заполненных примеров. Сделаю пробное распознавание и покажу, сколько полей придётся проверять. Напишите в Telegram, MAX или VK.