pyannote или WeSpeaker: что выбрать для работы с голосами

Это не конкуренты, а соседние слои одной задачи, и их часто ставят вместе: одна из моделей WeSpeaker встроена в pyannote 3.x. pyannote отвечает на вопрос «кто и когда говорил» и размечает запись по спикерам, обычно в связке с распознаванием речи; веса выдают после короткой анкеты на HF, лицензии MIT для 2.x, 3.0 и 3.1 и CC-BY 4.0 для community-1. WeSpeaker — это голосовой отпечаток: сравнить две записи и понять, один ли это человек, плюс помощь в разделении по спикерам; код под Apache 2.0, веса под CC-BY 4.0 и Apache 2.0. Обе работают на процессоре. В каталоге WeSpeaker отмечен для банков, страхования и служб безопасности, pyannote — для колл-центров, юристов, HR и подкастов.

Сравнение по данным каталога

Параметрpyannote (диаризация)WeSpeaker
НаправлениеГолос: спикеры и звук, Речь в текстГолос: спикеры и звук
РазработчикpyannoteAI (Эрве Бредин), ФранцияСообщество WeNet, Китай
Выпускимар 2022 – сен 2025ноя 2022 – июл 2026
Размерынесколько миллионов параметровот единиц до десятков миллионов параметров
ЖелезоНоутбукНоутбук
КоммерцияМожно в коммерциюМожно в коммерцию
ЛицензияMIT (2.x, 3.0, 3.1), CC-BY 4.0 (community-1); скачивание после согласия с условиями на HFКод Apache 2.0; веса CC-BY 4.0 (VoxCeleb) и Apache 2.0 (CN-Celeb)
Русский языкНе требуетсяНе требуется
OllamaНетНет
Без видеокартыДаДа
Задачи
  • Разметка звонков: где оператор, где клиент
  • Протоколы совещаний с подписью спикеров
  • Подготовка записей к расшифровке и анализу
  • Голосовая проверка клиента при звонке
  • Поиск повторных звонков одного человека
  • Разметка записи по спикерам

Выбирайте pyannote (диаризация), если

  • Нужны протоколы совещаний и звонков с подписью, кто где говорит
  • Диаризация идёт в связке с расшифровкой речи
  • Задачи колл-центра, юристов, HR или подкастов
pyannote (диаризация)

Выбирайте WeSpeaker, если

  • Нужно сравнить голос из двух записей: один это человек или разные
  • Голосовая проверка клиента при звонке, поиск повторных обращений
  • Не хочется проходить анкету на HF: веса доступны напрямую
WeSpeaker

Другие сравнения

Нужна модель под вашу задачу?

Открытую модель можно поставить на свой сервер: данные не уходят в чужое облако, нет оплаты за каждый запрос, модель можно дообучить на ваших документах.

  1. ПодберуМодель и размер под задачу и бюджет на железо
  2. ПоставлюНа ваш сервер или в закрытый контур, с API
  3. ДообучуНа ваших данных или подключу базу знаний
  4. ВстроюВ CRM, 1С, бота, сайт или рабочий чат
Обсудить внедрение