Открытые модели для анализа и разбора текста

Эти модели классифицируют обращения, определяют тональность отзывов и извлекают из текста имена, адреса, даты и суммы. Они легче больших языковых моделей и быстро работают на обычном сервере. Проверьте поддержку русского, возможность дообучить модель на своих примерах и лицензию.

В подборке 55 семейств открытых моделей.Обновлено 22.09.2026Открыть весь каталог с фильтрами
Разбор текстаRU2026

Liquid d1

Liquid AI · США

Маленькие модели решений: по тексту, картинке или голосовой записи отвечают «да или нет», выбирают вариант или ставят оценку за один проход, текст не пишут. d1-3B видит картинки, d1-omni-600M ещё и слышит речь до 30 секунд. Русский заявлен. Открытые d1-2B (текст, картинки и видео, на базе LFM3-VL-2B) и d1-Omni-2B (ещё и звук) решают за миллисекунды, по замерам авторов 5,7 мс на H100; кроме выбора ответа они вытаскивают текст, числа и даты с позициями и находят объекты на картинке. Это не чат-модель.

  • сортировка обращений и заявок по отделам
  • проверка фото на браке или нарушении по списку вопросов
  • маршрутизация голосовых команд
Размеры
600M, 2B и 3B
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Разбор текстаRU2026

vLLM Semantic Router: Decision и Vela

проект vLLM Semantic Router · международный проект

Открытое семейство моделей для ИИ-шлюза: на запрос отвечают вероятностями, не генерируя текст. Определяют тему и срочность, попытку взлома, вредный запрос, персональные данные, нужен ли инструмент. Малые версии работают на процессоре, Vela понимает 17 языков, включая русский. Новая d3 (27B) читает ещё и несколько картинок и видео, а d3-turbo, по оценке самих авторов, точнее её на 4 пункта в тексте. Самая новая в линейке d3-ultra вышла 24 октября.

  • маршрутизация запросов между моделями и командами
  • проверка запроса на попытку взлома и вредное содержание до основной модели
  • поиск персональных данных с координатами в тексте
Размеры
0.3B – 27B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Медицина2026

Carbon-X

Hugging Face (HuggingFaceBio) · США

Открытая языковая модель на 14.8B для работы с ДНК, построенная на Qwen3-14B. Вы присылаете сырую последовательность прямо в обычном чате, а она отвечает по-английски: оценивает, безвредна мутация или болезнетворна, находит участки, управляющие работой генов, относит последовательность к группе организмов, предсказывает следующие основания и объясняет ход мысли. ДНК и текст идут одним потоком, ДНК кодируется шестёрками оснований. По тестам авторов, на пяти наборах она набирает 66,7% без рассуждения, на 27 пунктов выше Qwen3-14B, и по стоимости примерно в 1800 раз дешевле GPT-6.1 Sol при близком результате. Влезает на одну видеокарту на 80 ГБ, так что чувствительные данные можно оставить у себя. Вирусные данные из обучения исключены из-за рисков. Выводы расчётные и не заменяют лабораторную проверку.

  • оценка вариантов ДНК: безвредный или болезнетворный
  • поиск участков, управляющих активностью генов
  • исследовательский помощник для биологов на своём сервере
Размеры
14.8B
Железо
от: 1 видеокарта
Можно в коммерциюПодробнее
Разбор текста2026

CLM (Contrastive Language Model)

Contrastive-LM (по анонсу: Стэнфорд совместно с NVIDIA) · США

Открытая модель быстрого выбора для агентов: получает описание ситуации и набор вариантов и возвращает вероятность каждого, не генерируя текст. Умеет решать «да или нет», выбирать из списка и ставить оценку по шкале. Действия и состояние кодируются отдельно, поэтому векторы действий можно посчитать заранее: по замерам авторов, при выборе из примерно тысячи вариантов она до 13 раз быстрее аналога Jev. После дообучения работает проверяющим, который выбирает лучшее из нескольких решений кодового агента (DeepSWE 81,6%, Terminal-Bench 2.1 87,6% по их замерам). Нужны Linux, видеокарта NVIDIA и Qwen3-8B в vLLM, язык карточки английский.

  • быстрый выбор следующего действия агента из заданных вариантов
  • проверка и ранжирование нескольких решений кодового агента
  • маршрутизация обращений: отдел, срочность, оценка по шкале
Размеры
8B (замороженный Qwen3-8B плюс две небольшие проекционные головы)
Железо
от: 1 видеокарта
Можно в коммерциюПодробнее
Текст2026

Humanizer

jialinyyzz (sgaofen) · не указана

Модель на 12B, которая переписывает черновики, написанные ИИ, чтобы они читались как человеческие: письма, эссе, отчёты, посты на форумах. Обучена сохранять все числа, единицы, даты, имена и цитаты и ничего не добавлять. Работает на своём компьютере, есть готовое приложение для Mac и Windows, которое работает без интернета, и файлы GGUF разной степени сжатия для llama.cpp. Заявленные языки: английский и китайский, русский не заявлен. По замерам автора, детектор Originality.ai признал человеческими 95% английских переписанных текстов. Результат всё равно нужно перечитывать, особенно числа и имена.

  • переписывание черновиков писем и отчётов, чтобы текст звучал естественнее
  • правка текстов после ИИ без потери чисел, дат и цитат
  • локальная обработка текстов, которые нельзя отправлять в облако
Размеры
12B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Разбор текста2026

Hy-Memory

Tencent Hunyuan · Китай

Модель, которая ведёт долгую память ИИ-агента: решает, что из переписки, рабочих задач или кода стоит запомнить, в каком виде, и как новые сведения меняют уже сохранённое. Заменяет универсальную модель внутри систем памяти Mem0, MemOS и собственной Hy-Memory. Языки в карточке: английский и китайский. Цифры по тестам приведены самой Tencent.

  • память ассистента о клиенте между разговорами
  • запоминание хода работы над проектом и кода
  • обновление сохранённых сведений при новых данных вместо дублей
Размеры
30B-A3B
Железо
от: 1 видеокарта
Можно в коммерциюПодробнее
Разбор текста2026

LIDstral Arabic

Mistral AI · Франция

Быстро определяет язык и диалект текста в арабской графике: современный литературный арабский, все диалекты и 51 класс в целом. Различает близкие языки на той же письменности (персидский, урду, пушту и другие), чтобы текст не считался арабским только из-за букв. Работает на процессоре.

  • определение диалекта в обращениях клиентов на арабском
  • сортировка текстов по языкам на арабской графике
  • подготовка данных для обучения и поиска
Размеры
модель fastText с калибровкой, число параметров не указано
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Разбор текста2026

Intern-Decision

Шанхайская лаборатория искусственного интеллекта · Китай

Модель решений на базе Qwen3.5-4B: по тексту и картинкам отвечает вероятностями на все вопросы о ситуации за один проход, без генерации текста. Подходит для маршрутизации заявок и оценки срочности.

  • сортировка заявок по отделам
  • оценка приоритета и срочности обращений
  • проверка по фото, всё ли в порядке
Размеры
4B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Разбор текста2026

JEV и GEV

AutoTrust AI · Сингапур

Открытые модели решений: на вопросы «да или нет», «выбери вариант», «оцени от 0 до 5» отвечают вероятностями за один проход, а при нужде ещё и рассуждают. Не связаны с закрытой Jev от TypeSafe.

  • сортировка заявок и обращений по отделам
  • проверка действия агента перед выполнением
  • оценка срочности и тональности сообщений
Размеры
9B – 35B
Железо
от: 1 видеокарта
Можно в коммерциюПодробнее
Разбор текста2026

pplx-decider

Perplexity · США

Модель решений на базе Qwen3.8-27B: выбирает вариант, отвечает «да или нет» или ставит оценку и возвращает калиброванные вероятности. Понимает и картинки.

  • маршрутизация обращений по командам
  • проверка ответов ИИ на соответствие источникам
  • оценка тональности и срочности писем
Размеры
27B
Железо
от: 1 видеокарта
Можно в коммерциюПодробнее
Разбор текста2026

Julia

Supersonic Labs · не указана

Совсем маленькая модель решений: по тексту, вопросу и вариантам ответа выбирает один вариант, ставит оценку или отвечает «да или нет». Работает на обычном процессоре и в браузере.

  • маршрутизация обращений по темам
  • определение тональности отзывов
  • быстрая классификация заявок
Размеры
144M
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Разбор текстаOllama2026

Clef

Cloudflare · США

Модели решений: не пишут текст, а читают ситуацию (текст, JSON, картинку, кадры видео, а у Clef-Omni ещё и звук) и за один проход возвращают вероятность каждого варианта ответа на типизированные вопросы «да или нет», «выбери один» и «оцени по шкале». Вместо разбора свободного текста агент получает готовые числа.

  • сортировка обращений и заявок по категориям с вероятностью
  • проверка документа или фото по списку вопросов (всё ли указано, есть ли нарушение)
  • выбор следующего шага агентом без разбора текстового ответа
Размеры
27B, 9B (Clef-flash) и 30B-A3B (Clef-Omni)
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Модерация и безопасность2026

PII-Tracer

Perplexity · США

Маленькая открытая модель, которая находит в тексте персональные данные (имена, телефоны, адреса, почту, номера счетов, секреты) и позволяет замаскировать их до отправки в облако. Контекст 4096 токенов.

  • маскирование персональных данных в диалогах
  • проверка текста перед отправкой во внешнюю нейросеть
  • поиск утечек секретов и ключей
Размеры
0,6B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Разбор текстаRU2026

BashkirRoBERTa и набор моделей для башкирского

Tvoy_Tezka (failed09) · не раскрыта

Небольшой набор инструментов для башкирского текста: языковая модель с заполнением пропусков, определитель башкирского языка, эмбеддинги fastText, оценщик пар с русским и восстановление башкирских букв. Всё это выложено осенью 2026 года, качество надо проверять на своих данных.

  • Проверка орфографии и подсказка слов на башкирском
  • Отделение башкирских текстов от чужих
  • Восстановление специфических букв в тексте
Размеры
50M у BashkirRoBERTa
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Разбор текста2026

FlowX OpenNER

FlowX.AI · США и Румыния

Семейство небольших моделей, которые вытаскивают из банковских и страховых текстов суммы, стороны сделки, юрисдикции, счета и упоминания из санкционных проверок. Решение по спорной операции принимает человек, автоматическая блокировка без проверки недопустима.

  • Извлечение сумм, сторон и юрисдикций из описаний операций
  • Разбор материалов проверки клиента и санкционных списков
  • Разметка номеров счетов и реквизитов в документах
Размеры
около 150M (на базе ModernBERT-base)
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Разбор текстаGGUF2026

FlowX ScamGuard

FlowX.AI · США и Румыния

Небольшие модели банковской компании, которые разбирают текст сообщения в SMS, письме или чате и объясняют, какой приём мошенника в нём использован. Решение по спорной операции принимает человек, автоматическая блокировка без проверки недопустима.

  • Разметка входящих сообщений с признаками обмана
  • Объяснение, по какой фразе сработала подсветка
  • Фильтрация писем и сообщений до передачи оператору
Размеры
0.6B – 1.7B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Разбор текста2024–2026

GLiNER

Урчаде Заратиана и Fastino AI · Франция / США

Находит в тексте нужные сущности без обучения: просто перечисляете, что искать (имя, сумма, дата). GLiNER2 заодно классифицирует текст. Многоязычные версии понимают русский.

  • Извлечение имён, сумм и дат из писем и договоров
  • Разбор заявок на поля CRM
  • Классификация обращений по темам
Размеры
около 50M – 500M
Железо
от: Ноутбук
Можно в коммерциюПодробнее
ПереводRU2022–2026

SLONE: перевод для языков народов России

SLONE (David Dale, Айгиз Кунафин и другие) · не раскрыта

Сообщество, которое достраивает NLLB и mBART под малоресурсные языки. В моделях есть эрзянский, тувинский, башкирский, татарский, чувашский, бурятский, марийский, хакасский и карачаево-балкарский. Качество по языкам разное, проверять надо на своих текстах.

  • Перевод с русского на национальный язык и обратно
  • Подготовка двуязычных материалов и вывесок
  • Поиск соответствий в параллельных текстах
Размеры
42M у компактных энкодеров, 620M – 758M у переводчиков
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Модерация и безопасность2024–2026

GLiNER-PII

Сообщество GLiNER (Fastino, Knowledgator, NVIDIA и др.) · США

Маленькие модели на основе GLiNER для поиска персональных данных: паспортов, телефонов, счетов, адресов. Типы данных задаются словами. Русский официально не заявлен.

  • Маскирование персональных данных перед облачным ИИ
  • Поиск паспортных данных и реквизитов в документах
  • Проверка выгрузок на утечки
Размеры
около 200M – 500M
Железо
от: Ноутбук
Можно в коммерциюПодробнее
ТекстRU2024–2026

Meno (Иван Бондаренко)

Иван Бондаренко (bond005), НГУ · Россия

Русскоязычные модели для работы с документами, а не для болтовни: ответы по базе знаний, извлечение сущностей и фактов из текста на русском, длинный контекст.

  • Ответы на вопросы по внутренним документам
  • Извлечение имён, дат и сумм из договоров
  • Краткое изложение длинных текстов на русском
Размеры
1.5B – 7.6B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Разбор текстаOllama2024–2026

NuExtract

NuMind · Франция

Модели для извлечения данных по шаблону: даёте документ или скан и JSON-шаблон полей, получаете заполненный JSON. NuExtract3 (4B) заодно переводит сканы в Markdown.

  • Извлечение реквизитов, сумм и дат из счетов и договоров в JSON
  • Разбор чеков, накладных и анкет по заданному шаблону
  • Перевод сканов в Markdown для поиска
Размеры
0.5B – 8B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Модерация и безопасность2026

OpenAI Privacy Filter

OpenAI · США

Находит и скрывает персональные данные: имена, адреса, телефоны, почту, номера счетов, пароли. Работает даже в браузере. Обучена в основном на английском.

  • Очистка текста от персональных данных перед отправкой в облачный ИИ
  • Поиск паролей и ключей в текстах
  • Обезличивание переписки для аналитики
Размеры
1.5B (50M активных)
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Разбор текстаRU2026

Tatar NLP Community

Tatar NLP Community · не раскрыта

Свежий набор моделей для татарского языка: разбор слов по морфологии на нескольких базах, вопросы и ответы по татарским и русским топонимам, дообучения Mistral и GPT-2 под татарский.

  • Морфологический разбор татарских текстов
  • Поиск ответов по названиям мест
  • Генерация текста на татарском
Размеры
178M у моделей морфологии, 7B у дообучения Mistral
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Детекция подделок2023–2025

RADAR

IBM Research и The Chinese University of Hong Kong · США

Детектор ИИ-текста, обученный вместе с перефразировщиком: его специально учили не сдаваться, когда текст переписали своими словами. Ошибается в обе стороны, вывод проверяет человек.

  • Проверка текстов, которые могли переписать после генерации
  • Предварительный отсев в редакции или приёмной комиссии
  • Сравнение с более простыми детекторами
Размеры
около 355M (RoBERTa-large)
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Разбор текстаRUGGUF2025

mmBERT

Университет Джонса Хопкинса (JHU CLSP) · США

Многоязычный энкодер, обученный более чем на 1800 языках. В список входят татарский, башкирский, чувашский, удмуртский, бурятский, коми, ингушский и другие языки народов России. Основа для классификаторов и поиска по таким текстам.

  • Классификация обращений и документов на национальных языках
  • Поиск по смыслу в текстах на редких языках
  • Извлечение имён, дат и названий из текста
Размеры
140M и 307M
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Разбор текста2023–2025

ScamLLM

University of Texas at Arlington · США

Классификатор из исследования IEEE S&P: отделяет обычные запросы к языковой модели от запросов, которыми заказывают текст и страницу для обмана людей. Решение по спорной операции принимает человек, автоматическая блокировка без проверки недопустима.

  • Разметка запросов к ассистенту, похожих на подготовку обмана
  • Проверка текстов рассылок перед отправкой
  • Наполнение внутренних правил фильтрации примерами
Размеры
около 125M (на базе RoBERTa-base)
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Поиск и RAGGGUF2024–2025

JobBERT (TechWolf)

TechWolf · Бельгия

Модель бельгийской HR-компании: превращает названия должностей в векторы, чтобы находить похожие вакансии и резюме. Решение о кандидате принимает человек, автоматический отбор без проверки использовать нельзя.

  • Сопоставление названий должностей из разных источников
  • Поиск похожих вакансий и резюме по смыслу
  • Наведение порядка в справочнике должностей компании
Размеры
109M – 278M
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Разбор текстаRU2023–2025

RuModernBERT и USER (deepvk)

deepvk (VK) · Россия

Русские энкодеры от команды VK: RuModernBERT читает длинные тексты, USER даёт векторы для поиска, GeRaCl классифицирует тексты по темам без обучения.

  • Классификация обращений без размеченных данных
  • Поиск по базе знаний на русском
  • Разбор длинных договоров
Размеры
35M – 360M
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Детекция подделок2025

Desklib AI Text Detector

Desklib · Индия

Свежий открытый детектор ИИ-текста на DeBERTa-v3-large, обучен на наборе RAID; есть отдельная версия под учебные работы. Ошибается в обе стороны — итог всегда проверяет человек.

  • Проверка присланных статей и отчётов
  • Отсев шаблонных отзывов и откликов
  • Предварительная проверка учебных работ
Размеры
0,4B (DeBERTa-v3-large)
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Поиск и RAG2025

CareerBERT

Авторы статьи CareerBERT, немецкие университеты · Германия

Немецкоязычная модель, которая сопоставляет резюме с профессиями из европейского справочника ESCO и подсказывает подходящие направления. Решение о кандидате принимает человек, автоматический отбор без проверки использовать нельзя.

  • Подбор профессий под опыт кандидата
  • Сопоставление резюме и описаний вакансий
  • Подсказки по карьерным переходам внутри компании
Размеры
110M
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Разбор текстаGGUF2024–2025

ModernBERT

Answer.AI и LightOn · США / Франция

Современная замена классическому BERT: быстрее, читает до 8 тысяч токенов за раз. Основа для своих классификаторов. Обучена на английском и коде, для русского есть RuModernBERT.

  • Классификация обращений и документов
  • Поиск нужных фрагментов в длинных текстах
  • Основа для своего классификатора после дообучения
Размеры
150M – 395M
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Разбор текстаRUOllama2024–2025

ReaderLM (Jina)

Jina AI · Германия

Маленькие модели, которые превращают сырой HTML веб-страниц в чистый Markdown или JSON. Удобно готовить сайты для базы знаний. Лицензия только некоммерческая.

  • Очистка страниц сайтов для базы знаний
  • Извлечение данных со страниц в JSON
  • Подготовка текстов для RAG
Размеры
0.5B – 1.5B
Железо
от: Ноутбук
Только некоммерческоеПодробнее
Поиск и RAG2024

ConTeXT-Skill-Extraction

TechWolf · Бельгия

Находит в тексте вакансии или резюме упоминания навыков и сопоставляет их со справочником компании. Решение о кандидате принимает человек, автоматический отбор без проверки использовать нельзя.

  • Извлечение навыков из описания вакансии
  • Сопоставление навыков кандидата с требованиями
  • Карта компетенций по подразделениям
Размеры
109M
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Кибербезопасность2024

Phishing Email Detection DistilBERT

cybersectony · не раскрыта

Очень лёгкий классификатор писем и ссылок на признаки фишинга. Ошибается в обе стороны, поэтому спорные письма всё равно смотрит человек.

  • Отметка подозрительных входящих писем
  • Проверка ссылок из переписки перед переходом
  • Фильтр первого уровня в почтовом шлюзе
Размеры
около 66M
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Кибербезопасность2023–2024

Biglog

Huawei и Университет науки и технологий Китая (проект LogAIBox) · Китай

Модель, предобученная на большом объёме журналов разных систем: превращает строку лога в вектор, поверх которого дообучают поиск сбоев и нетипичных записей. Решение по спорной операции принимает человек, автоматическая блокировка без проверки недопустима.

  • Поиск нетипичных записей в журналах операций
  • Группировка однотипных сообщений о сбоях
  • Подготовка признаков для собственной модели мониторинга
Размеры
около 110M (архитектура BERT-base)
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Модерация и безопасность2024

Piiranha

iiiorg · не указана

Популярный детектор 17 типов персональных данных на шести европейских языках. Русского нет, лицензия некоммерческая — подходит для проб и исследований.

  • Поиск персональных данных в текстах
  • Сравнение качества детекторов PII
Размеры
278M
Железо
от: Ноутбук
Только некоммерческоеПодробнее
Проверка фактов и оценка ответовOllamaНе развивается2024

MiniCheck

UT Austin и Bespoke Labs · США

Проверяет, подтверждается ли каждое утверждение в ответе ИИ исходными документами. Малые версии свободные, старшая 7B есть в Ollama, но некоммерческая.

  • Проверка ответов RAG-бота по документам
  • Поиск неподтверждённых утверждений в отчётах и пересказах
  • Автоматический контроль качества ИИ-ответов
Размеры
0.4B – 7B
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Проверка фактов и оценка ответовНе развивается2023–2024

HHEM (Vectara)

Vectara · США

Маленькая модель, которая проверяет, опирается ли ответ ИИ на исходный текст или выдуман. Работает на процессоре, удобна как фильтр в RAG-системах.

  • Проверка ответов чат-бота по базе знаний на выдумки
  • Контроль качества пересказов документов
  • Сравнение языковых моделей по склонности к ошибкам
Размеры
110M
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Разбор текстаRUНе развивается2020–2024

ruBERT, ruRoBERTa, ruELECTRA (ai-forever)

SberDevices (ai-forever) · Россия

Русскоязычные энкодеры Сбера, обученные на больших русских корпусах. Основа для классификаторов, NER и поиска по смыслу на русском.

  • Классификация обращений на русском
  • Извлечение имён, сумм и дат после дообучения
  • Определение тональности отзывов
Размеры
около 30M – 430M
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Разбор текстаRUНе развивается2024

Zerpal: модели для удмуртского языка

udmurtNLP · не раскрыта

Проект вокруг удмуртского языка: энкодеры на базе mBERT, rubert-tiny2 и Glot500, разметчики частей речи, модель исправления опечаток и эмбеддинги удмуртского с английским.

  • Разбор удмуртских текстов по частям речи
  • Исправление опечаток и ошибок распознавания
  • Поиск по смыслу в удмуртских материалах
Размеры
33M – 187M
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Детекция подделокНе развивается2024

MAGE

UC Santa Barbara и соавторы · США

Детектор ИИ-текста на Longformer: держит длинный документ целиком и обучен на текстах от множества разных языковых моделей. Ошибается в обе стороны, его вывод — повод для проверки человеком.

  • Проверка длинных статей и отчётов целиком
  • Отсев машинного текста в потоке публикаций
  • Сравнение детекторов на своих данных
Размеры
около 150M (Longformer-base)
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Разбор текстаRUНе развивается2023–2024

GlotLID

CIS, Университет Людвига-Максимилиана в Мюнхене · Германия

Определяет, на каком языке написан текст: в третьей версии более двух тысяч меток, включая татарский, башкирский, чувашский, удмуртский, марийский, эрзянский, коми и другие языки народов России.

  • Разбор смешанных архивов текстов по языкам
  • Отсев мусора и чужих языков перед обучением моделей
  • Маршрутизация обращений на нужного оператора или модель
Размеры
модель FastText, число параметров на карточке не указано
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Разбор текстаНе развивается2024

OccCANINE

University of Southern Denmark · Дания

Переводит свободное описание профессии в стандартный код HISCO на 13 языках. Создана для исторических архивов, но годится и для наведения порядка в справочниках должностей. Решение о кандидате принимает человек, автоматический отбор без проверки использовать нельзя.

  • Приведение разнородных названий профессий к единому коду
  • Разбор архивов кадровых и статистических данных
  • Подготовка данных для отчётности
Размеры
на базе CANINE-s, размер на карточке не указан
Железо
от: Ноутбук
Можно в коммерциюПодробнее
ТекстRUНе развивается2023–2024

FRED-T5

Сбер (ai-forever) · Россия

Русская модель «текст в текст» от Сбера, наследница ruT5 (2021). Небольшая и быстрая: её дообучают на пересказ, перефразирование и исправление ошибок в русском тексте, есть готовые версии проверки орфографии SAGE.

  • Исправление орфографии и опечаток в русском тексте
  • Краткий пересказ и перефразирование
  • Нормализация заявок и обращений перед обработкой
Размеры
95M – 1.7B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
КибербезопасностьНе развивается2023–2024

LogPrecis / SecureShellBert

SmartData@PoliTO, Politecnico di Torino · Италия

Пара моделей итальянского университета: разбирают записанную сессию команд и размечают, какие куски относятся к разведке, закреплению и другим шагам атакующего. Решение по спорной операции принимает человек, автоматическая блокировка без проверки недопустима.

  • Разметка журналов команд по этапам действий
  • Группировка похожих сессий для разбора инцидентов
  • Подготовка признаков для мониторинга серверов
Размеры
около 125M (на базе CodeBERT)
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Детекция подделокНе развивается2023

HC3 ChatGPT Detector

Hello-SimpleAI · Китай

Один из первых открытых классификаторов ИИ-текста, обучен на корпусе HC3 из пар ответов человека и ЧатГПТ. Ошибается в обе стороны: его вывод — повод поговорить с автором, а не доказательство.

  • Предварительная проверка учебных работ
  • Отсев шаблонных откликов и отзывов
  • Разметка подозрительных текстов для ручной проверки
Размеры
около 125M (RoBERTa-base)
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Разбор текстаНе развивается2022–2023

ESCOXLM-R и JobBERT (ITU Copenhagen)

Mike Zhang, Rob van der Goot, Barbara Plank (IT University of Copenhagen и LMU Munich) · Дания

Научная линейка моделей для текстов рынка труда: обучены на объявлениях о работе и европейском справочнике профессий ESCO, вытаскивают из вакансий навыки и требования. Решение о кандидате принимает человек, автоматический отбор без проверки использовать нельзя.

  • Извлечение навыков и требований из текста вакансии
  • Приведение навыков к единому справочнику ESCO
  • Классификация вакансий и должностей
Размеры
110M – 560M
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
КибербезопасностьНе развивается2022–2023

SecureBERT

Ehsan Aghaei и соавторы · США

Компактный языковой энкодер, обученный на текстах по кибербезопасности: разметка отчётов об угрозах, поиск сущностей и классификация.

  • Разметка отчётов об угрозах и бюллетеней по уязвимостям
  • Извлечение сущностей из текстов по безопасности
  • Классификация и поиск по внутренней базе инцидентов
Размеры
около 125M
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Разбор текстаRUНе развивается2022–2023

Русские классификаторы токсичности и тональности

Давид Дале (cointegrated) и сообщество · Россия

Готовые крошечные модели на rubert-tiny для русского текста: находят грубость и оскорбления, определяют тональность и эмоции. Работают на процессоре за миллисекунды.

  • Фильтр оскорблений в чатах и комментариях на русском
  • Разметка отзывов на позитив, нейтрал и негатив
  • Поиск раздражённых клиентов в обращениях
Размеры
12M – 29M
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Документы и OCRНе развивается2022

LiLT

SCUT DLVC Lab, Южно-Китайский технологический университет · Китай

Лёгкая модель, которая учитывает и текст, и расположение блоков на странице: обучается на одном языке и переносится на другие. Подходит для разметки полей резюме и анкет. Решение о кандидате принимает человек, автоматический отбор без проверки использовать нельзя.

  • Разметка полей в резюме и анкетах
  • Извлечение данных из форм и бланков
  • Разбор документов на нескольких языках
Размеры
около 130M английская и около 280M многоязычная версия
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Разбор текстаНе развивается2020–2022

LayoutLM (v1–v3, LayoutXLM)

Microsoft · США

Классические модели понимания документов: учитывают текст, его расположение на странице и картинку. Их дообучают под извлечение полей из форм и чеков. Коммерчески свободна только первая версия.

  • Извлечение полей из анкет, форм и чеков после дообучения
  • Классификация типов документов
  • Ответы на вопросы по отсканированной странице
Размеры
около 110M – 370M
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Разбор текстаRUНе развивается2019–2022

XLM-RoBERTa

Meta · США

Классический многоязычный энкодер на 100 языков, включая русский. Основа многих моделей тональности, NER и эмбеддингов, в том числе BGE-M3.

  • Определение тональности отзывов на разных языках
  • Извлечение имён и организаций после дообучения
  • Классификация обращений
Размеры
270M – 10.7B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Разбор текстаRUНе развивается2021

DeBERTa-v3 и mDeBERTa-v3

Microsoft · США

Проверенный временем энкодер, на котором построено множество классификаторов и NER-моделей (в том числе GLiNER). Многоязычная mDeBERTa-v3 понимает русский.

  • Классификация отзывов по тональности
  • Извлечение сущностей после дообучения
  • Проверка, следует ли вывод из текста
Размеры
70M – 435M
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Разбор текстаRUНе развивается2021

rubert-tiny

Давид Дале (cointegrated) · Россия

Очень маленький русско-английский BERT, работает быстро на обычном процессоре. Есть готовые дообученные версии для тональности, токсичности и эмоций.

  • Определение тональности отзывов
  • Фильтр грубых сообщений в чате
  • Быстрая классификация обращений
Размеры
12M – 29M
Железо
от: Ноутбук
Можно в коммерциюПодробнее
ФинансыНе развивается2020

FinBERT

Prosus · Нидерланды

Классическая модель, которая определяет тон финансовых новостей: позитив, негатив или нейтрально. Только английский, быстро работает на процессоре.

  • Оценка тона новостей о компаниях
  • Разметка отчётов и пресс-релизов
  • Сигналы для аналитических дашбордов
Размеры
110M
Железо
от: Ноутбук
Можно в коммерциюПодробнее

Подборки

Нужна модель под вашу задачу?

Открытую модель можно поставить на свой сервер: данные не уходят в чужое облако, нет оплаты за каждый запрос, модель можно дообучить на ваших документах.

  1. ПодберуМодель и размер под задачу и бюджет на железо
  2. ПоставлюНа ваш сервер или в закрытый контур, с API
  3. ДообучуНа ваших данных или подключу базу знаний
  4. ВстроюВ CRM, 1С, бота, сайт или рабочий чат
Обсудить внедрение