Nemotron 3.5 Transcribe: расшифровка звонков на своём сервере

Что вышло и что я проверил

Отдел продаж записывает звонки, а слушать их некому. Совещание на час должно стать протоколом, который никто не пишет. Облачная расшифровка это решает, но запись с ценами и именами уходит на чужой сервер.

Проверял 29.10.2026. Карточка nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B и блог NVIDIA дают одну дату: 28.10.2026. По карточке: 34 млрд параметров, 4,3 млрд активных, гибрид Mamba-2 и трансформера с набором экспертов. Транскрибация на 40 языках, перевод между английским и 31 языком, метки говорящих на 13. Форматы wav, flac, mp3, ogg, внутри 16 кГц, один канал, запись до часа. Задача задаётся текстом запроса, например «расшифруй и подпиши каждого говорящего». Метки времени по словам включаются параметром. Вопросы по содержанию аудио проверяли только на английском.

Лицензия OpenMDW-1.1 по тексту

Читал файл LICENSE в репозитории. Он короткий. Разрешено бесплатно пользоваться материалами модели без ограничений, включая права по авторскому праву, патентам, базам данных и коммерческой тайне. Из условий одно: при распространении сохранить копию соглашения и уведомления об авторстве. Права прекращаются, если вы подадите иск о нарушении патента или авторских прав из-за этих материалов, кроме ответного. К результатам работы модели, то есть вашим расшифровкам, лицензия ограничений не ставит. Гарантий нет. За согласия людей, чьи голоса вы обрабатываете, отвечаете вы: текст так и написан.

От Apache-2.0 и MIT её отличает то, что она написана про модели целиком: веса, архитектуру, данные и документацию. Требований вроде файла NOTICE в тексте нет. Это моё прочтение, не заключение юриста. В репозитории есть ещё лицензии Qwen3-ASR и vLLM и список сторонних уведомлений, их тоже смотрит юрист, как в разборе про слои лицензий открытых моделей.

Железо и скорость: расчёт

Файл BF16 весит 67,5 ГБ. FP8 и NVFP4 лежат в отдельных репозиториях, по сумме файлов около 34,7 и 21,6 ГБ. Карточка называет развёртывание на одной H100 с 80 ГБ. Таблица в техотчёте: BF16 на A100 80 ГБ, FP8 на H100, H200 и L40S, на RTX 5090 только NVFP4. Запуск через vLLM с NeMo Speech, Hugging Face Transformers, SGLang-Omni (без меток времени, говорящих и перевода) и GGML. Про память здесь.

Скорость. NVIDIA пишет, что 100 часов записей обработаны меньше чем за три минуты на одной RTX PRO 6000 Blackwell. По техотчёту это NVFP4 с ускорением DFlash2, клипы по 30 секунд, 64 запроса одновременно, сервер NVIDIA с оптимизациями вне открытого кода. Результат 2238 секунд звука в секунду, то есть 360 000 секунд за 161 секунду. Сборка из открытого кода, по словам авторов, примерно вдвое медленнее. На десятиминутных записях лучший результат 1531 в NVFP4 и 458 в BF16.

Условный пример. 20 менеджеров, по 15 звонков по 5 минут в день: 25 часов, 90 000 секунд. Если у вас получится в двадцать раз медленнее заявленного, около 100 секунд звука в секунду, день считается за 15 минут. Ограничением станут память карты и проверка текста.

Русский, шум и телефон

Для русского карточка ставит верхний уровень и отмечает все задачи: расшифровка, перевод, несколько говорящих, смешанная речь. Ошибка слов на FLEURS 3,80%, на CoVoST2 2,47%. Это чтение фраз, не колл-центр. Цифр по русскому телефонному разговору нет: не подтверждено.

Для шума есть общий набор URGENT24 с испорченными записями: 11,00%. Для телефона есть английский CALLHOME (подвыборка CH109): ошибка с учётом говорящих 11,50%. Телефонный канал 8 кГц в карточке не упомянут: не подтверждено. На длинных записях среднее 10,98%, на многоязычной части 4,62%. На английской части лидерборда в карточке 4,71%, а в анонсе NVIDIA стоит 5,33%. Причину разницы не нашёл. Рейтинг Artificial Analysis с 2,8% взят из блога NVIDIA, страницу рейтинга я не открывал.

Чем отличается от Whisper и облака

Whisper и WhisperX из моей статьи, скорее всего, легче, размеры весов сверяйте по карточкам. WhisperX даёт метки по словам и определение говорящих. Nemotron делает это одной моделью по текстовому указанию. Сравнения на русской речи у меня нет, слова «точнее» не будет, ответ даст пилот.

Облачная потоковая расшифровка из разбора MAI-Transcribe-2 решает другое: субтитры и подсказки менеджеру во время звонка. Nemotron так не умеет, зато записи остаются у вас.

Что важно учесть

По карточке модель офлайновая, дальше часа или 65 536 токенов качество не гарантировано. Бывают замены, пропуски, повторы, придуманная речь, не тот язык и перепутанные говорящие. Редко случаются зацикливания. Метки говорящих не устанавливают личность. Из-за обучения на инструкциях модель восприимчивее к подсказкам, спрятанным в тексте: не отдавайте расшифровку агенту с правом действовать без проверки.

Свой сервер убирает передачу записи третьей стороне, но не обязанности оператора: основание, цель, срок хранения, круг доступа. Как закон смотрит на запись звонков, я разобрал в статье про запись разговоров с клиентами, для клиник есть разбор про записи приёмов. Если начнёте сопоставлять голос с конкретным человеком, это вопрос к юристу про биометрию. Штрафы не называю.

Что можно сделать уже сейчас

Соберите пилот на 20 записях: 4 тихие, 4 шумные, 3 с двумя говорящими, 3 со смесью русского и английского, 4 телефонных, 2 длинные около часа. Из каждой возьмите фрагмент на 3-5 минут и вручную подготовьте эталон. Метрика: слова-названия, суммы, даты и имена. Считайте, сколько таких слов в эталоне и сколько модель написала верно. Порог задайте до теста.

Чек-лист из семи пунктов:

1. Лицензия и сторонние файлы прочитаны юристом.
2. Основание, цель и срок хранения записей описаны до запуска.
3. Сервер в России, доступ к файлам по списку людей.
4. Те же 20 записей прогнаны через Whisper.
5. Порог по названиям, суммам, датам и именам задан заранее.
6. Проверены длинная запись, наложение голосов и телефонный канал.
7. Расшифровка помечена как черновик, протокол и решения утверждает человек.

Развернуть и собрать конвейер «звонок, текст, разбор» могу в рамках услуги по ИИ-агентам, разбор звонков менеджеров описан в отдельной статье.

Частые вопросы

Запустится ли без видеокарты?

В карточке и техотчёте указаны видеокарты. Запуск на процессоре не подтверждён.

Нужно ли платить NVIDIA?

В тексте лицензии платы нет. Доступ к Hugging Face и загрузка 67 ГБ из России: уточняйте.

Поймёт ли модель, кто менеджер, а кто клиент?

Она разделит говорящих тегами, но имён не даст. Менеджера определяйте правилом, например по каналу записи.

Коротко о главном

Nemotron 3.5 Transcribe под OpenMDW-1.1 даёт расшифровку готовых записей с разметкой говорящих на своём сервере. Для русского заявлен верхний уровень, но данных по телефонному каналу нет.

Если хотите, чтобы я прогнал пилот на ваших записях и настроил расшифровку звонков и совещаний на вашем сервере, напишите мне в Telegram кодовое слово «ГОВОРЯЩИЕ».