Голос: спикеры и звук

NVIDIA Sortformer / TitaNet

Модели NVIDIA для задачи «кто говорит»: TitaNet узнаёт голос конкретного человека, Sortformer размечает запись до 4 спикеров, в том числе потоково во время звонка.

Разработчик
NVIDIA, США
Первый выпуск
июл 2022
Последний выпуск
окт 2025
Размеры
23M (TitaNet) – 117M (Sortformer)
Лицензия
Коммерция с условиямиСмешанная: TitaNet и Streaming Sortformer v2 — CC-BY 4.0, v2.1 — NVIDIA Open Model License, Sortformer v1 — CC-BY-NC
Запуск
Через свой серверРаботает и без видеокарты
Сферы
Поддержка клиентов, Финансы, Безопасность
Поставить на свой сервер Hugging Face GitHub

Какие задачи решает

  • Разметка разговоров по спикерам в реальном времени
  • Проверка, что звонит тот же человек (голосовой отпечаток)
  • Подготовка расшифровок совещаний

Где применяется

Колл-центрыБанки и службы безопасностиВидеоконференции

Требования к железу

НоутбукНоутбук или обычный ПК, до 8 ГБ видеопамяти — младшие версии
подходит
1 видеокартаОдна видеокарта на 16–80 ГБ — средние версии
нет версий
КластерСервер с несколькими видеокартами — флагманские версии
нет версий

Версии

  1. Streaming Sortformer v2.1
  2. Streaming Sortformer v2
  3. Sortformer 4spk v1
  4. TitaNet-Large

Как запустить

На своём сервереВеса скачиваются с Hugging Face, запуск — через vLLM (нагрузка и API) или llama.cpp (скромное железо). Так модель работает в закрытом контуре, без оплаты за запросы.Hugging Face
Сколько нужно железаПосчитайте видеопамять под нужный размер модели, контекст и число одновременных запросов.Открыть калькулятор железа

Ставлю и настраиваю под ключ: подберу размер модели, разверну на вашем сервере, подключу к вашим системам.

Частые вопросы

Можно ли использовать NVIDIA Sortformer / TitaNet в коммерческом проекте?

С условиями. Лицензия: Смешанная: TitaNet и Streaming Sortformer v2 — CC-BY 4.0, v2.1 — NVIDIA Open Model License, Sortformer v1 — CC-BY-NC. Ограничения бывают разными — регион, выручка компании, требование указывать авторство. Перед коммерческим запуском проверьте условия с юристом.

Какое железо нужно для NVIDIA Sortformer / TitaNet?

Минимум: Ноутбук или обычный ПК, до 8 ГБ видеопамяти — младшие версии. Есть версии, которые работают и без видеокарты, на обычном процессоре. Точный объём видеопамяти под ваш размер модели и контекст можно посчитать в калькуляторе железа.

Поддерживает ли NVIDIA Sortformer / TitaNet русский язык?

Для этой модели язык не важен: она работает не с текстом.

Где скачать NVIDIA Sortformer / TitaNet и сколько это стоит?

Веса NVIDIA Sortformer / TitaNet лежат в открытом доступе и скачиваются бесплатно. Платить нужно только за железо, на котором модель работает, и за настройку. Ссылки на первоисточник — в конце страницы.

Как внедряю у заказчика

  1. ПодборВыбираю размер модели под задачу и ваше железо, проверяю на ваших примерах.
  2. УстановкаРазворачиваю на вашем сервере или в закрытом контуре, отдаю API.
  3. ДообучениеДообучаю на ваших данных (LoRA) или подключаю базу знаний — что дешевле для задачи.
  4. ВстраиваниеПодключаю к CRM, 1С, боту, сайту или рабочему чату, настраиваю мониторинг.

Похожие модели

Голос: спикеры и звукpyannote (диаризация)pyannoteAI (Эрве Бредин) · ФранцияМожно в коммерцию

Самый распространённый открытый инструмент, который размечает запись по спикерам: кто и когда говорил. Обычно ставится в связку с распознаванием речи. Веса выдаются после короткой анкеты на HF.

ПодробнееГолос: спикеры и звукWeSpeakerСообщество WeNet · КитайМожно в коммерцию

Набор готовых моделей «голосового отпечатка»: сравнивает, один ли человек говорит в двух записях, и помогает делить запись по спикерам. Одна из моделей встроена в pyannote 3.x.

ПодробнееРечь в текстNVIDIA Parakeet / Canary / Nemotron SpeechNVIDIA · СШАКоммерция с условиями

Быстрые модели распознавания речи от NVIDIA, в том числе потоковые для работы в реальном времени. Parakeet TDT v3 и Nemotron 3.5 ASR понимают русский. Новая Nemotron 3.5 Transcribe (34B, 4.3B активных, OpenMDW 1.1) расшифровывает записи до часа на 40 языках, переводит речь, делит её по говорящим, ставит метки времени по словам и отвечает на вопросы по содержанию (вопросы только на английском); для русского доступны все задачи. Только готовые файлы, живой поток не поддерживается. Цифры авторов: 5,33% ошибок в словах на английском в открытом рейтинге Hugging Face.

Подробнее

Источник: huggingface.co/api/models?author=nvidia&search=sortformer. Данные сверены с карточкой модели 22.09.2026. Лицензию перед коммерческим запуском проверьте с юристом.