Модели распознавания речи превращают звонки, совещания и голосовые сообщения в текст, который дальше можно искать и анализировать. Локальный запуск важен, если записи разговоров нельзя передавать наружу. Проверьте качество на русском и с фоновым шумом, поддержку разделения по спикерам, лицензию и скорость на вашем железе.
Быстрые модели распознавания речи от NVIDIA, в том числе потоковые для работы в реальном времени. Parakeet TDT v3 и Nemotron 3.5 ASR понимают русский. Новая Nemotron 3.5 Transcribe (34B, 4.3B активных, OpenMDW 1.1) расшифровывает записи до часа на 40 языках, переводит речь, делит её по говорящим, ставит метки времени по словам и отвечает на вопросы по содержанию (вопросы только на английском); для русского доступны все задачи. Только готовые файлы, живой поток не поддерживается. Цифры авторов: 5,33% ошибок в словах на английском в открытом рейтинге Hugging Face.
Одна модель для разработчиков: читает документы и таблицы, расшифровывает речь с разметкой спикеров, находит объекты на картинке и отвечает строго по заданной JSON-схеме. Внутри ядро для рассуждений и набор узких моделей.
разбор документов и таблиц с координатами текста
расшифровка записей с разметкой спикеров
извлечение данных из документов в заданную JSON-схему
Размеры
модель на 80 ГБ видеопамяти (ядро на базе Qwen3.8-27B)
Распознавание речи в одном файле на 16,9 МБ: работает на телефоне, часах, роботе и процессоре без видеокарты. Языки: английский, немецкий, французский, испанский, итальянский, нидерландский, польский. Даёт метки времени для слов.
голосовой ввод в мобильных приложениях без интернета
Речевые модели Mistral: понимают аудио, расшифровывают и отвечают на вопросы по записи. Realtime-версия распознаёт в реальном времени и поддерживает русский; есть синтез речи и отдельная версия для арабских диалектов.
Потоковое распознавание китайской и английской речи с задержкой 240–560 мс. Может слушать бесконечно долго без роста памяти и сам отличает паузу на раздумье от конца реплики.
Очень компактная модель распознавания английской речи: 164 МБ, по точности близка к своей большой основе Parakeet. Час записи расшифровывает примерно за 20 секунд на ноутбуке.
Модели Xiaomi для рассуждений и агентов: от компактной MiMo-7B до MiMo-V2.6-Pro на 1,02 трлн параметров. Старшие версии понимают текст, картинки, видео и звук, контекст — 1 млн токенов. Языки: английский и китайский.
Речевые модели Microsoft: синтез длинных диалогов на несколько голосов, быстрый синтез для живого общения и распознавание длинных записей с разделением по говорящим, в том числе на русском.
Речевые модели IBM для распознавания и перевода речи на английском и нескольких европейских языках и японском. Рассчитаны на корпоративное использование.
Очень маленькие и быстрые модели распознавания речи для телефонов, планшетов и встраиваемых устройств. Вторая версия работает потоково и выдаёт текст, пока человек ещё говорит.
Айгиз Кунафин (AigizK), участник сообщества SLONE · Россия
Многолетняя работа одного энтузиаста вокруг башкирского Common Voice: дообучения Whisper, wav2vec2, w2v-BERT и GigaAM под башкирский, татарский и марийский языки. Качество у моделей разное, проверять надо на своих записях.
Расшифровка звонков и совещаний на башкирском и татарском
Модели Сбера для распознавания русской речи, одни из самых точных для русского языка. Есть распознавание эмоций, версия v3 с пунктуацией и многоязычная версия (русский, казахский, киргизский, узбекский).
Модель распознавания речи от Cohere на 14 языков (русского в списке нет), отдельная версия для арабского. Рассчитана на точную расшифровку деловых записей.
Выразительный синтез речи и диалогов с клонированием голоса, плюс модели распознавания. Третья версия синтеза поддерживает около 100 языков, включая русский, но некоммерческая.
Потоковые модели распознавания и синтеза речи от авторов Moshi: начинают говорить и расшифровывать, не дожидаясь конца фразы. Pocket TTS (100M) работает на процессоре. Английский, французский и ещё несколько европейских языков, русского нет.
Потоковая расшифровка речи для голосовых ботов
Озвучка ответов с минимальной задержкой
Синтез речи на сервере без видеокарты (Pocket TTS)
Распознавание речи на 1600+ языках, включая русский и редкие языки, которые раньше не поддерживала ни одна система. Новый язык можно добавить по нескольким примерам.
Набор моделей Alibaba для быстрого распознавания речи, в первую очередь китайской и азиатских языков. SenseVoice дополнительно определяет эмоции и звуковые события.
Русскоязычные дообучения открытых моделей (Mistral, Qwen, Llama) от независимой команды Vikhr: улучшают русский язык, есть компактные версии для обычного ПК. Borealis — аудио-модель для распознавания и понимания русской речи.
Два десятка дообучений Whisper, wav2vec2 и WavLM под карельский язык, в том числе под записи, где человек переходит с карельского на русский. Карточки моделей пустые, качество надо проверять на своих записях.
Расшифровка полевых и архивных записей на карельском
Субтитры к материалам на карельском языке
Работа с записями, где смешаны карельский и русский
Самый распространённый открытый инструмент, который размечает запись по спикерам: кто и когда говорил. Обычно ставится в связку с распознаванием речи. Веса выдаются после короткой анкеты на HF.
Офлайн-распознавание русской речи, которое работает даже на Raspberry Pi и телефоне, без интернета. Есть потоковые модели для живого звука и простой русский синтез речи Vosk TTS.
Расшифровка звонков и записей на русском без облака
Универсальная аудиомодель: распознаёт речь, отвечает на вопросы о звуке, определяет эмоции и ведёт голосовой диалог. Обучена на 13 млн часов аудио, языки — английский и китайский.
Распознавание речи на 99 языках, включая русский. Стандарт де-факто для расшифровки звонков и встреч. Ускоренные Distil-Whisper от Hugging Face — только для английского.
Речевые модели Meta более чем на тысячу языков. В списке поддержки есть башкирский, татарский, чувашский, якутский, осетинский, чеченский, аварский, удмуртский, марийский, эрзянский, мокшанский, калмыцкий и карельский. Качество по языкам очень разное, проверять надо на своих записях.
Открытую модель можно поставить на свой сервер: данные не уходят в чужое облако, нет оплаты за каждый запрос, модель можно дообучить на ваших документах.
ПодберуМодель и размер под задачу и бюджет на железо
ПоставлюНа ваш сервер или в закрытый контур, с API
