Синтез речи

MeloTTS

Name: MeloTTS
Author: MyShell и MIT

Лёгкий многоязычный синтез речи, который успевает в реальном времени на обычном процессоре. Английский с акцентами, испанский, французский, китайский, японский и корейский; русского нет.

Последняя открытая версия вышла в апр 2024. Семейство давно не обновлялось: это не значит, что модель не работает, но свежих исправлений и новых размеров ждать не стоит.

Разработчик: MyShell и MIT, США
Первый выпуск: фев 2024
Последний выпуск: апр 2024
Размеры: небольшая, работает в реальном времени на процессоре
Лицензия: Можно в коммерциюMIT
Русский язык: Нет
Запуск: Через свой серверРаботает и без видеокарты
Сферы: Поддержка клиентов, Медиа и продакшн, Образование

Поставить на свой сервер Hugging Face GitHub

Какие задачи решает

Озвучка ответов ботов на иностранных языках
Озвучка обучающих материалов
Чтение текстов вслух на сервере без видеокарты

Где применяется

Голосовые ботыОбразованиеМедиа

Требования к железу

НоутбукНоутбук или обычный ПК, до 8 ГБ видеопамяти — младшие версии

подходит

1 видеокартаОдна видеокарта на 16–80 ГБ — средние версии

нет версий

КластерСервер с несколькими видеокартами — флагманские версии

нет версий

Версии

апр 2024MeloTTS English v3
фев 2024MeloTTS (6 языков)

Как запустить

На своём сервереВеса скачиваются с Hugging Face, запуск — через vLLM (нагрузка и API) или llama.cpp (скромное железо). Так модель работает в закрытом контуре, без оплаты за запросы.Hugging Face

Сколько нужно железаПосчитайте видеопамять под нужный размер модели, контекст и число одновременных запросов.Открыть калькулятор железа

Ставлю и настраиваю под ключ: подберу размер модели, разверну на вашем сервере, подключу к вашим системам.

Частые вопросы

Можно ли использовать MeloTTS в коммерческом проекте?

Да. Лицензия: MIT. Это разрешает коммерческое использование, но перед запуском лицензию всё равно стоит показать юристу.

Какое железо нужно для MeloTTS?

Минимум: Ноутбук или обычный ПК, до 8 ГБ видеопамяти — младшие версии. Есть версии, которые работают и без видеокарты, на обычном процессоре. Точный объём видеопамяти под ваш размер модели и контекст можно посчитать в калькуляторе железа.

Поддерживает ли MeloTTS русский язык?

Нет. В документации разработчика языки перечислены, русского среди них нет. Для русских задач лучше взять модель из подборки «Открытые ИИ-модели с русским языком».

Где скачать MeloTTS и сколько это стоит?

Веса MeloTTS лежат в открытом доступе и скачиваются бесплатно. Платить нужно только за железо, на котором модель работает, и за настройку. Ссылки на первоисточник — в конце страницы.

Как внедряю у заказчика

ПодборВыбираю размер модели под задачу и ваше железо, проверяю на ваших примерах.
УстановкаРазворачиваю на вашем сервере или в закрытом контуре, отдаю API.
ДообучениеДообучаю на ваших данных (LoRA) или подключаю базу знаний — что дешевле для задачи.
ВстраиваниеПодключаю к CRM, 1С, боту, сайту или рабочему чату, настраиваю мониторинг.