Ролик собирается из слоёв, и модели работают по слоям так же. Картинка, голос, текст на экране и перевод это четыре независимых задачи, и попытка получить всё одним запросом даёт результат, который нельзя переделать по частям. Когда слои разделены, можно поменять только озвучку или только перевод, не пересобирая видеоряд заново. Для бизнеса это важнее качества отдельного кадра: правки приходят всегда.
Модель генерации видео делает короткие сцены по текстовому описанию или оживляет готовую картинку. Реалистично держится обычно несколько секунд, поэтому ролик собирают из коротких кусков, а не просят минуту целиком. Это звено определяет и стоимость, и время: видео считается заметно дольше картинок и требует серьёзной видеокарты. Без него остаётся монтаж из стоков и съёмки.
Генерация видео по тексту и по картинке. Младшая версия запускается на игровой видеокарте. После 2.2 базовые модели открыто не выходят, только прикладные: монтаж (VACE), говорящие персонажи по звуку (S2V), танцы под музыку (Dancer).
Видеомодель Tencent, одна из первых открытых на уровне закрытых сервисов. Версия 1.5 стала легче (8.3B) и идёт на потребительских картах.
Быстрая видеомодель, которая с LTX-2 генерирует видео сразу со звуком и речью. Можно управлять камерой и позой, есть облегчённые версии.
Синтез речи читает сценарий выбранным голосом, с нужной скоростью и паузами. Здесь решается вопрос узнаваемости: один и тот же голос во всех роликах работает как часть бренда. Клонирование чужого голоса без разрешения человека недопустимо, и это не технический вопрос, а правовой, здесь в общих чертах, конкретный случай смотрит юрист. Без звена нужен диктор на каждую правку текста.
Модель клонирования голоса по нескольким секундам образца, английский и китайский. Сообщество выпустило много дообученных версий под другие языки, в том числе русский.
Синтез речи с клонированием голоса по короткому образцу и потоковой выдачей для живого диалога. Третья версия поддерживает 9 языков, включая русский.
Популярная модель клонирования голоса по короткому образцу на 17 языках, включая русский. Компания Coqui закрылась, развитие остановлено.
Распознавание речи снимает готовую озвучку обратно в текст с отметками времени, и из этого получаются субтитры, которые совпадают со звуком по кадрам. Кажется избыточным, ведь сценарий уже есть, но диктор и синтез читают с паузами, а зритель в ленте смотрит без звука. Без субтитров половина аудитории соцсетей не досматривает ролик до сути.
Распознавание речи на 99 языках, включая русский. Стандарт де-факто для расшифровки звонков и встреч. Ускоренные Distil-Whisper от Hugging Face — только для английского.
Модели распознавания речи от команды Qwen на 50+ языков, включая русский. Хорошо справляются с шумом, пением и акцентами.
Модель перевода переносит сценарий и субтитры на другие языки, после чего тот же ролик переозвучивается с шага два. Получается не новая съёмка, а вариант, и стоимость выхода на соседний рынок падает до стоимости озвучки. Без этого звена каждый язык это отдельный производственный цикл со своим подрядчиком и своими сроками.
Компактный переводчик ByteDance на 28 языков, по качеству близкий к крупным закрытым системам. Русский есть. Есть готовые сжатые версии.
Переводчик на 200 языков, включая редкие и малые. Русский есть. Сильна по охвату языков, но лицензия запрещает коммерческое использование.
Языковые модели, заточенные под перевод и работу с многоязычными текстами: перевод, правка, оценка качества перевода. Русский есть. Некоммерческая лицензия.
Ожидания обычно завышены по двум пунктам: длине сцены и управляемости. Модель не выдаёт по описанию нужный кадр с первого раза, и в смету закладывают перебор вариантов, а не один запрос. Заранее договоритесь, где проходит граница: лицо реального человека, чужой бренд в кадре, голос сотрудника. Права на сгенерированное, маркировка синтетического контента и использование чужой внешности здесь описаны в общих чертах, конкретный случай смотрит юрист.
Открытую модель можно поставить на свой сервер: данные не уходят в чужое облако, нет оплаты за каждый запрос, модель можно дообучить на ваших документах.
