Серия роликов для доставки еды в Дубае: как я собрал первый

Рекламные ролики с нейросетью выглядят простым делом, пока не доходишь до реплик, одинакового лица героя в разных сценах и фирменных цветов. Здесь я расскажу, как собрал первый ролик серии, что сломалось в первой версии и какие решения остались в конвейере. Заказчика не называю, это компания по доставке еды в Дубае.

Задача

Заказчику нужна серия из пяти роликов, каждый по 20-30 секунд, в вертикальном формате для соцсетей. Сценарии и раскадровку он прислал сам. Условия жёсткие: в кадре только двое героев, образы должны совпадать с утверждёнными картинками один в один, традиционной арабской одежды в материалах нет, и ориентиром по качеству служит их собственный эталонный ролик в 1080 на 1920 с высоким битрейтом и нормализованной громкостью.

Ещё одно условие поставили перед началом работы: сначала короткое превью, и только потом остальное. Никто не хочет получить пять роликов с неузнаваемым лицом героя. Поэтому я делал один ролик целиком и сдавал его как пробу.

Что я сделал

Пайплайн я собирал под этот заказ и уточнял на каждой версии.

Голоса отдельно. Видеомодель умеет говорить, но русскую речь она произносит с акцентом и ошибками, и заказчик это заметил на первом превью. Поэтому реплики теперь озвучиваются в ElevenLabs: два разных голоса для героя и героини. Одновременно сервис держит не больше двух запросов, на третий отвечает ошибкой 429, поэтому реплики идут парами.

Сцены. Для генерации видео я использую модель Seedance в разрешении 720p и вертикальном формате. На вход идут четыре образа: герой целиком, его лицо крупным планом, героиня целиком и её лицо крупным планом. Отдельно в модель подаётся дорожка с репликами. Сцена в десять-одиннадцать секунд генерируется за один заход.

Звук по таймингам клипа. Даже получив готовые реплики, модель расставляет их по-своему. Поэтому я расшифровываю звук получившегося клипа, получаю тайминги, кладу на них чистые реплики из ElevenLabs с небольшим ускорением, не больше чем в 1,2 раза, и подкладываю музыку, которая приглушается под голосом. Громкость нормализуется до значения, как у эталонного ролика заказчика.

Картинка. Сцены приходят в 720p, а нужен 1080 на 1920. Я прогоняю их через Real-ESRGAN, смешиваю результат с обычным увеличением в пропорции 60 к 40 и добавляю мягкое повышение резкости. Всё это идёт локально, на моей машине.

Фирменный финал. В конце ролика стоит плашка из брендбука заказчика: его фирменные цвета, логотип и подпись. Шрифт из брендбука для кириллицы не подошёл и недоступен для скачивания, поэтому я подобрал близкий по характеру засечный шрифт с кириллицей. Слои плашки собираются скриптом, чтобы пересобрать её можно было за секунды.

Если интересно, как строится разметка субтитров и нарезка роликов под соцсети, это отдельно разбирал в статье про субтитры и нарезку.

Что было сложно

Лицо героя в первой версии. В первом варианте лицо мужского героя «поплыло»: от сцены к сцене он выглядел как разные люди. Я долго искал причину в настройках модели, а она оказалась в моих руках. Я перепутал файлы вложений: один из номеров, который я считал картинкой героя, оказался скриншотом чата, и модель ни разу не видела его настоящего лица. Теперь перед каждой генерацией я смотрю каждую картинку-образец глазами и не доверяю номеру файла.

Акцент. Русская речь, сгенерированная видеомоделью, звучит неестественно, и заказчик услышал это сразу. Отдельная озвучка решает проблему, но порождает другую: губы героя должны совпадать с новой дорожкой. Модель сама подстраивает артикуляцию под поданное аудио, но расставляет реплики по-своему, и приходится выравнивать звук по её тайминг-карте, а не наоборот.

Ограничения образов. Арабской одежды в утверждённых материалах нет, и в кадре двое. Любая сцена, где требуются массовка или другая одежда, ломает совпадение образов, поэтому сценарии приходится читать с этой оговоркой и либо упрощать сцену, либо согласовывать с заказчиком замену.

Порядок работы. Генерация сцены занимает время, поэтому безлимитно экспериментировать на пять роликов не получится. Отсюда правило: сначала проверить референсы, потом текст, потом генерировать.

Что получилось

Показателей вроде просмотров или заказов у меня нет, поэтому про эффект ничего не пишу.

Что дальше

Следующий шаг по серии зависит от заказчика: ему нужно согласовать, какие из четырёх оставшихся сценариев делать первыми. Для каждого сценария порядок один: проверить образы, озвучить реплики, сгенерировать сцены, собрать звук, поднять картинку и добавить плашку. Для типовых роликов из шаблонов есть более лёгкий путь, и про него я писал в статье про видео из шаблонов в Remotion.

Частые вопросы

Можно ли сделать ролик с вашим продуктом и героями без съёмки?

Можно, если у вас есть утверждённые картинки героев и раскадровка. Качество зависит от референсов: чем лучше образы, тем стабильнее лицо в разных сценах. Для проекта, где нужна съёмка настоящих блюд, я бы предлагал совмещать живые кадры и сгенерированные.

Почему голос не берётся из самой видеомодели?

Потому что русскую речь она произносит с акцентом и с ошибками. Отдельная озвучка даёт чистый звук, который я кладу на тайминги получившегося клипа.

Сколько времени занимает один ролик?

Точных замеров у меня нет. Дольше всего у меня уходило на согласование образов и подгонку звука, особенно когда первая версия не прошла проверку на лицо героя.

Коротко о главном

Видео с нейросетью требует не меньше дисциплины, чем обычная съёмка. Главный урок этого заказа: смотреть на каждый референс глазами, отделять голос от картинки и хранить скрипты сборки, потому что ролик придётся пересобирать. Другие связанные приёмы описаны в статье про нейросети для видео.

Если вам нужна серия роликов для доставки, кафе или другого бизнеса, я соберу конвейер под ваш бренд и автоматизирую выпуск. Напишите в Telegram, MAX или VK.