Мультсериал по либретто спектакля, собранный ИИ

Спектакль живёт на сцене пару часов, а потом остаётся афишей и несколькими фотографиями. Либретто при этом — готовый сценарий: там есть герои, конфликт, повороты и развязка. Мне было интересно проверить, можно ли из такого текста собрать короткий мультсериал для телефона силами нейросетей, сколько это стоит и где такой конвейер ломается. Ниже — что получилось, во что обошлось и чего я пока не знаю.

Задача

На входе было два документа: либретто спектакля и тайминг-лист — разбивка действия по сценам и времени. Название спектакля и имена здесь не называю, это не принципиально для сути.

Задача звучала так: превратить сценический сюжет в короткий сериал, который смотрят в вертикальной ленте. Не в экранизацию на полтора часа, а в серии меньше минуты, которые человек пролистывает в телефоне и досматривает до конца. Параллельно нужно было понять экономику: если одна серия стоит как съёмочный день, затея не имеет смысла.

Отдельное условие — национальный материал. Музыка, костюмы, интонация рассказчика не должны выглядеть как усреднённая картинка из генератора. Это сразу усложняет работу, потому что модели по умолчанию тянут в сторону самого частого и самого безликого.

Что я сделал

Начал не с серии, а с пробного ролика. Его смысл — проверить весь конвейер на коротком куске: генерацию видео, озвучку, музыку, субтитры и склейку. Пока пробник не собран целиком, считать стоимость серии бессмысленно, потому что половина денег и времени уходит на переделки, которых на бумаге не видно.

Дальше был трейлер. Он прошёл три версии, финальная — 54 секунды. Трейлер нужен, чтобы в одном ролике показать тон всей истории: кто герои, что стоит на кону, почему стоит смотреть дальше. Поэтому он и прошёл несколько версий, прежде чем дело дошло до серий.

Затем собрал первую серию: 52 секунды, вертикальный формат. Вертикаль выбрана под то, как такие ролики смотрят, — в ленте телефона, одной рукой, часто без звука. Отсюда и вшитые субтитры: они впечатаны в сам кадр, а не подгружаются отдельным файлом, поэтому видны на любой площадке и при выключенном звуке.

Инструменты такие. Видео сгенерировано моделью Seedance. Голос рассказчика и героев — ElevenLabs. Музыка — этническая, под материал спектакля. Всё сведено в один ролик с субтитрами.

Как сюжет разбит на серии

Самая важная работа была не в генерации, а в драматургии. Либретто написано для зала, где зритель сидит два часа и никуда не уходит. В ленте всё наоборот: у каждой серии есть несколько секунд, чтобы удержать человека, и секунда в конце, чтобы он захотел следующую.

Поэтому весь сюжет я разбил на 10 серий. Каждая заканчивается крючком — нерешённым вопросом, поворотом, обрывом на самом напряжённом месте. Это приём из сериалов, но в коротком формате он становится обязательным: без крючка зритель просто листает дальше и больше к истории не возвращается.

Тайминг-лист для этого удобен: в нём действие уже разбито по сценам и времени, и видно, где в спектакле паузы, а где напряжение растёт. Серия, которая обрывается на паузе, крючка не даёт.

Сведение речи и кадра

Отдельная история — синхронизация. Голос и видео генерируются разными моделями и ничего друг о друге не знают. Если просто положить дорожку поверх картинки, реплика героя начинается, когда в кадре ещё предыдущая сцена, а важное слово попадает на склейку.

Поэтому речь я сводил с кадрами вручную и проверял в 10 контрольных точках. Контрольная точка — это момент, где совпадение обязательно: начало реплики, смена сцены, ключевая фраза, финальный крючок. В каждой такой точке смотрел, что звук и изображение стоят на своих местах. Это рутинная работа, но без неё ролик выглядит собранным наспех, и зритель это чувствует, даже если не может объяснить.

Что было сложно

Первое — итерации. Трейлер я пересобирал три раза, и это нормально для такой работы. Генерация не даёт точного результата с первого запроса: где-то кадр не тот, где-то темп не совпал с речью. Каждая переделка стоит денег, и это главная причина, почему стоимость серии надо мерить на реальной сборке, а не на прайсе модели.

Второе — национальный колорит. Модели охотно рисуют обобщённую картинку, и удержать узнаваемый характер материала сложнее, чем получить просто красивый кадр. Музыка и голос здесь делают больше, чем кажется: именно они задают тон, который картинка сама не держит.

Третье — синхронизация, о которой написал выше. Без ручной проверки в контрольных точках ролик разваливается.

Что получилось

Первая серия обошлась примерно в 7,8 доллара на генерацию. Это фактическая цифра по готовой серии, а не оценка.

Дальше я посчитал другой вариант: перейти на работу через API и анимировать не каждую сцену, а только ключевые. Остальное держится на статичных кадрах, голосе и музыке. По расчёту это даёт примерно 1,5-2 доллара за серию. Подчеркну: это расчёт, на практике я его ещё не проверял. Реальная цифра может оказаться другой.

Статус проекта честно: разработано, но нигде не опубликовано. Ни просмотров, ни досмотров, ни подписчиков у меня нет — поэтому и рассказывать про них не буду.

Что дальше

Логичный следующий шаг — собрать очередную серию уже по схеме с API и анимацией только ключевых сцен. Тогда расчёт в 1,5-2 доллара превратится в факт или будет опровергнут. После этого имеет смысл публиковать и смотреть, досматривают ли серии до крючка и переходят ли к следующей. Это единственная метрика, которая скажет, работает ли формат.

Частые вопросы

Можно ли сделать мультсериал целиком нейросетями?

Сгенерировать кадры, голос и музыку — да. Но драматургию, разбивку на серии и сведение речи с картинкой я делал руками. Без этого получается набор красивых кадров, а не история.

Сколько стоит одна серия?

Первая серия на 52 секунды обошлась примерно в 7,8 доллара на генерацию. Вариант через API с анимацией только ключевых сцен по расчёту даёт 1,5-2 доллара, но это пока не проверено на практике.

Зачем крючок в конце каждой серии?

В короткой ленте зритель решает за секунду, смотреть ли дальше. Нерешённый вопрос в финале — главный повод открыть следующую серию. Сюжет разбит на 10 серий именно так, чтобы каждая заканчивалась на пике.

Почему субтитры вшиты в видео?

Вертикальные ролики часто смотрят без звука. Вшитые субтитры видны всегда и на любой площадке, их не нужно отдельно подгружать.

Подойдёт ли это для другого материала?

Да, если есть текст с сюжетом: пьеса, сказка, легенда, история компании. Либретто удобно тем, что там уже есть сцены и повороты, а тайминг-лист подсказывает, где резать на серии.

Коротко о главном

Из либретто спектакля можно собрать короткий вертикальный мультсериал силами нейросетей: Seedance для видео, ElevenLabs для голоса, этническая музыка и вшитые субтитры. Главная работа при этом не в генерации, а в драматургии и сведении: разбить сюжет на серии с крючками и проверить, что речь попадает в кадр.

Реальная цифра — примерно 7,8 доллара на первую серию. Расчётная — 1,5-2 доллара через API, но её ещё предстоит подтвердить. Публикаций пока нет, и я не выдаю расчёт за результат.

Если у вас есть сюжет, который хочется превратить в серию коротких роликов, — спектакль, легенда, история бренда, — я могу собрать пробник, посчитать стоимость серии на реальной сборке и разбить материал на эпизоды. Напишите в Telegram, MAX или VK.