Synthesia и HeyGen используют для обучающих роликов, инструкций и новостей компании: один раз сделали аватара и дальше меняете только текст. Открытые модели делают то же самое у вас: из фото или короткого видео и озвучки собирается говорящий человек, есть отдельные модели для подгонки губ под новую дорожку в уже снятом видео. Сценарии и лица сотрудников при этом не уходят на чужой сервис, а роликов можно выпускать сколько нужно, в том числе на нескольких языках поверх одного исходного видео. Ограничения заметные: аватар убедителен в спокойном говорящем плане, а жесты, повороты головы и длинные ролики даются хуже, нужна видеокарта и отдельная озвучка. Юридическая часть здесь важнее технической: использовать лицо и голос человека можно только с его письменного согласия.
Серия говорящих портретов по аудио: от коротких клипов до часовых видео в 4K. Hallo-Live рассчитана на работу в реальном времени.
Говорящие аватары от Ant Group: лицо, а с V2 и жесты рук. V3-Flash выдаёт видео за 8 шагов и укладывается в 12 ГБ видеопамяти.
Дубляж и говорящие персонажи на базе Wan: MultiTalk ведёт диалог нескольких людей, InfiniteTalk переозвучивает видео любой длины с мимикой и телом.
Потоковый аватар в реальном времени неограниченной длины. Подходит для живых эфиров и диалога, но требует мощного серверного железа.
Синхронизация губ в реальном времени: подгоняет рот на видео под новое аудио. Подходит для перевода видео и живых аватаров.
Эти пять в каталоге отмечены как разрешённые для коммерции (MIT и Apache 2.0), тогда как классический Wav2Lip некоммерческий, а у LatentSync встроенный детектор лиц InsightFace некоммерческий и для бизнеса его нужно заменять. Согласие человека на использование лица и голоса обязательно.
Открытую модель можно поставить на свой сервер: данные не уходят в чужое облако, нет оплаты за каждый запрос, модель можно дообучить на ваших документах.
