В телефонии всё упирается в то, что звук это не текст. Пока разговор не расшифрован, ни одна языковая модель его не разберёт, а пока в расшифровке не отмечено, кто говорит, невозможно оценить работу оператора. Поэтому рабочий контур собирают из звеньев: распознавание речи, разделение говорящих, смысловой разбор и голосовой ответ. Так каждое звено можно менять и мерить отдельно, а сбой на одном участке не превращает весь контур в чёрный ящик.
Распознавание речи переводит запись или живой поток в текст. От качества этого шага зависит буквально всё дальнейшее: если модель путает названия товаров и имена, разбор будет строиться на выдумке. Отдельно смотрите на телефонное качество звука, фоновый шум и то, как модель держит русский язык вперемешку с названиями на латинице. Без этого звена остаётся только ручное прослушивание выборки звонков.
Распознавание речи на 99 языках, включая русский. Стандарт де-факто для расшифровки звонков и встреч. Ускоренные Distil-Whisper от Hugging Face — только для английского.
Модели Сбера для распознавания русской речи, одни из самых точных для русского языка. Есть распознавание эмоций, версия v3 с пунктуацией и многоязычная версия (русский, казахский, киргизский, узбекский).
Быстрые модели распознавания речи от NVIDIA, в том числе потоковые для работы в реальном времени. Parakeet TDT v3 и Nemotron 3.5 ASR понимают русский. Новая Nemotron 3.5 Transcribe (34B, 4.3B активных, OpenMDW 1.1) расшифровывает записи до часа на 40 языках, переводит речь, делит её по говорящим, ставит метки времени по словам и отвечает на вопросы по содержанию (вопросы только на английском); для русского доступны все задачи. Только готовые файлы, живой поток не поддерживается. Цифры авторов: 5,33% ошибок в словах на английском в открытом рейтинге Hugging Face.
Диаризация размечает, какая фраза принадлежит оператору, а какая клиенту, и отделяет речь от пауз и шума. Без неё расшифровка превращается в сплошное полотно, по которому нельзя ни посчитать, кто больше говорил, ни проверить, прозвучал ли обязательный скрипт. Для живого разговора это же звено отвечает за момент, когда человек договорил и можно отвечать.
Самый распространённый открытый инструмент, который размечает запись по спикерам: кто и когда говорил. Обычно ставится в связку с распознаванием речи. Веса выдаются после короткой анкеты на HF.
Модели NVIDIA для задачи «кто говорит»: TitaNet узнаёт голос конкретного человека, Sortformer размечает запись до 4 спикеров, в том числе потоково во время звонка.
Самый популярный открытый детектор речи: отличает голос от тишины и шума. Обрабатывает фрагмент звука меньше чем за миллисекунду на одном ядре процессора, обучен на записях более чем 6000 языков.
Языковая модель работает уже с текстом: вытаскивает причину обращения, тему, договорённости и следующий шаг, а в живом сценарии формулирует реплику. Тут же ставится проверка на соблюдение скрипта и пометка тяжёлых звонков для руководителя. Если выкинуть это звено, останутся расшифровки, которые никто не читает, потому что читать сотни страниц в день некому.
Семейство языковых моделей с сильным русским языком: от маленьких версий для ноутбука до флагмана уровня коммерческих API.
Самая известная русскоязычная доучка сообщества: чужие открытые модели (Llama, Mistral, Gemma, YandexGPT) дообучены отвечать на русском как ассистент. Удобная отправная точка для русского чат-бота на своём сервере.
Модели, с которых начался массовый open source в ИИ. Огромная экосистема дообученных версий и инструментов.
Синтез речи озвучивает готовый текст. Здесь важны не только чистота голоса, но и скорость: в телефонном разговоре пауза дольше пары секунд читается как обрыв связи. Отдельно решите вопрос с интонацией и с тем, предупреждаете ли вы собеседника, что говорит робот. Без этого звена сценарий ограничен перепиской и уведомлениями, голосовой канал не закрывается.
Популярная модель клонирования голоса по короткому образцу на 17 языках, включая русский. Компания Coqui закрылась, развитие остановлено.
Очень быстрый синтез речи, который работает даже на Raspberry Pi. Готовые голоса на 35+ языках, есть несколько русских.
Лёгкий синтез русской речи, работает на обычном процессоре. Версия v5 добавила языки СНГ и народов России: татарский, башкирский, якутский, казахский и другие.
Главная ловушка это ожидание, что модель будет разбирать звонки так же хорошо, как человек с опытом. Начинайте с разбора уже состоявшихся записей, а не с живого ответа клиенту: ошибка в аналитике стоит дёшево, ошибка в разговоре стоит клиента. Проверьте связку на своей реальной телефонии, а не на студийных записях. Запись разговоров, уведомление собеседника и хранение голоса регулируются, здесь это в общих чертах, конкретный случай смотрит юрист.
Открытую модель можно поставить на свой сервер: данные не уходят в чужое облако, нет оплаты за каждый запрос, модель можно дообучить на ваших документах.
