Документы и OCR

TrOCR

Распознаёт одну строку текста, в том числе рукописного. Официальные веса только для английского, но модель часто дообучают под другие языки — есть русские версии от сообщества.

Разработчик
Microsoft, США
Первый выпуск
окт 2021
Последний выпуск
сен 2022
Размеры
62M – 608M
Лицензия
Можно в коммерциюMIT
Русский язык
Нет
Запуск
Через свой серверРаботает и без видеокарты
Сферы
Документы и бухгалтерия, Образование
Поставить на свой сервер Hugging Face GitHub

Какие задачи решает

  • Распознавание рукописных строк в анкетах и бланках
  • Распознавание печатных строк после поиска текста на странице
  • Основа для дообучения под свой почерк или шрифт

Где применяется

ДокументооборотАрхивыОбразование

Требования к железу

НоутбукНоутбук или обычный ПК, до 8 ГБ видеопамяти — младшие версии
подходит
1 видеокартаОдна видеокарта на 16–80 ГБ — средние версии
нет версий
КластерСервер с несколькими видеокартами — флагманские версии
нет версий

Версии

  1. TrOCR для текста на фото (STR)
  2. TrOCR small
  3. TrOCR base и large (рукописный и печатный)

Как внедряю у заказчика

  1. ПодборВыбираю размер модели под задачу и ваше железо, проверяю на ваших примерах.
  2. УстановкаРазворачиваю на вашем сервере или в закрытом контуре, отдаю API.
  3. ДообучениеДообучаю на ваших данных (LoRA) или подключаю базу знаний — что дешевле для задачи.
  4. ВстраиваниеПодключаю к CRM, 1С, боту, сайту или рабочему чату, настраиваю мониторинг.

Похожие модели

Документы и OCRPP-OCR и PP-DocLayout (классический PaddleOCR)Baidu (PaddlePaddle) · КитайМожно в коммерцию

Классические лёгкие модели PaddleOCR: поиск и распознавание строк текста плюс разметка страницы. Работают на процессоре и телефонах; есть отдельная модель для восточнославянских языков, включая русский.

ПодробнееДокументы и OCRSurya OCRDatalab · СШАКоммерция с условиями

Компактный набор OCR от авторов Marker и Chandra: распознавание текста, макет страницы, порядок чтения и таблицы. Surya OCR 2 (650M) работает и на процессоре, русский в замерах 88,8%.

ПодробнееДокументы и OCRGOT-OCR 2.0StepFun · КитайМожно в коммерцию

Одна из первых универсальных OCR-моделей нового поколения: текст, формулы, таблицы, ноты и схемы. Маленькая, работает на слабом железе, но уже уступает новинкам.

Подробнее