Видео2026
Pika Labs · США
Видеомодель Pika на основе открытых весов MiniMax H3: делает видео сразу со стереозвуком за шесть шагов и принимает до 12 опорных материалов (картинки, видео, звук), по ним задаётся режиссура кадров. Два адаптера: FL2VA для текста и начального и конечного кадров, Ref2VA для опорных материалов. Локально идёт в 480p и 768p, а 1080p, 2K и 4K, звуковые дорожки и улучшение запроса доступны только через платный API Pika. Подходит для историй из нескольких планов, анимированной графики, роликов о товарах. Лицензия наследует условия MiniMax H3, и она не действует в ЕС, Великобритании, Южной Корее и США, это нужно проверить до использования. Для запуска нужны серверные видеокарты.
- рекламные ролики и ролики о товарах с готовым звуком
- анимация по опорным картинкам и видео, истории из нескольких планов
- анимированная графика и заставки
- Размеры
- 33B (дообучение MiniMax H3, адаптеры)
- Железо
- от: Кластер
Видео2026
Фуданьский университет, Tencent Hunyuan и Чжэцзянский университет · Китай
Создаёт видео сразу со звуком: из первого кадра и описания получается ролик с речью, эффектами и музыкой. Заявлена родная генерация в 720p, 1080p и 2K. В сторонней сборке FreeVideo (1280×720, 8,5 секунды) запускается на одной карте RTX 30, 40 или 50 от 12 ГБ памяти, но быстро не будет.
- оживление картинки в ролик со звуком
- рекламные и обучающие ролики с озвучкой
- прототипы сцен для видео и анимации
- Размеры
- на карточке не указан (на базе MOVA-360p)
- Железо
- от: 1 видеокарта
Музыка и звук2026
HeartMuLa Team · не указана
Открытая модель генерации песен с вокалом на китайском, английском, японском, корейском и испанском, плюс кодек и модель расшифровки текста песен.
- Песни и джинглы по тексту
- Музыка для роликов
- Расшифровка текста песен
- Размеры
- 3B
- Железо
- от: 1 видеокарта
Музыка и звукGGUF2022–2026
m-a-p (Multimodal Art Projection) · Великобритания / Китай
Энкодер музыки: превращает трек в числовое описание, по которому определяют жанр, настроение, тональность и ритм. MERT-v2 работает с целыми песнями до 6 минут.
- Автоматическая разметка музыкального каталога
- Поиск похожих треков
- Определение жанра, настроения и темпа
- Размеры
- 95M – 632M
- Железо
- от: Ноутбук
Диагностика по звуку2019–2026
Google · США
Крошечная модель на 521 звуковое событие, включая сигнализацию, разбитое стекло и крик: помещается на микроконтроллер и работает без видеокарты. Микрофон может записать голоса людей — это персональные данные, порядок согласуйте с юристом.
- Быстрая разметка звука прямо на устройстве
- Детекция тревожных звуков на объекте
- Отбор интересных фрагментов из непрерывной записи
- Размеры
- 3,7M
- Железо
- от: Ноутбук
Музыка и звукGGUF2025–2026
M-A-P и HKUST · Китай
Генерация полноценных песен с вокалом и аккомпанементом по тексту и описанию стиля: английский, китайский, японский, корейский.
- Песни и джинглы по тексту
- Демо-версии композиций
- Музыка для роликов
- Размеры
- 0.5B – 7B
- Железо
- от: 1 видеокарта
ВидеоGGUF2025–2026
Sand AI · Китай
Видео, которое генерируется по кускам друг за другом, поэтому ролик можно продлевать бесконечно. MAGI-2 делает видео сразу со звуком.
- Длинные ролики с продолжением
- Видео со звуком
- Оживление изображений
- Размеры
- 4.5B – 114B-A6B
- Железо
- от: 1 видеокарта
Голос: спикеры и звук2022–2026
Сообщество: Ultimate Vocal Remover (Anjok07), ZFTurbo, MVSep · Международное сообщество
Большая открытая коллекция моделей для отделения голоса от музыки и шумов: MDX-Net, BS-RoFormer, Mel-RoFormer, SCNet. Лидеры по качеству вокала среди открытых решений.
- Чистый голос из записи с музыкой
- Минусовки и стемы для караоке
- Удаление фоновой музыки и шума из роликов
- Размеры
- от десятков до сотен миллионов параметров
- Железо
- от: Ноутбук
Голос: спикеры и звук2022–2026
Meta AI, затем Александр Дефоссе · Франция
Классическая модель, которая разделяет трек на голос, барабаны, бас и остальное. Версия v4 с гибридным трансформером остаётся эталоном; сейчас проект поддерживает автор в своём репозитории.
- Отделить голос от музыки в записи
- Минусовки и дорожки для караоке
- Очистка речи в видео с фоновой музыкой
- Размеры
- десятки миллионов параметров
- Железо
- от: Ноутбук
Видео2024–2026
Lightricks · Израиль
Быстрая видеомодель, которая с LTX-2 генерирует видео сразу со звуком и речью. Можно управлять камерой и позой, есть облегчённые версии.
- Рекламные ролики со звуком
- Видео из фото товара
- Озвученные сцены для соцсетей
- Размеры
- 2B – 22B
- Железо
- от: 1 видеокарта
Музыка и звукRUGGUF2025–2026
ACE Studio и StepFun · Китай
Быстрая генерация песен с вокалом на 19 языках, включая русский: полная песня за секунды, правка отдельных фрагментов и смена стиля.
- Песни и джинглы для рекламы
- Фоновая музыка для роликов
- Демо-версии композиций
- Размеры
- около 2B – 4B
- Железо
- от: Ноутбук
Диагностика по звуку2019–2026
University of Surrey · Великобритания
Классический набор свёрточных сетей для разметки звука по 527 категориям AudioSet: от шума механизма и сигнализации до разбитого стекла и крика. Система не ставит диагноз, а даёт повод проверить узел раньше, чем он встанет. Микрофон может записать и голоса людей — это персональные данные, порядок согласуйте с юристом.
- Разметка того, что происходит на записи с микрофона
- Детекция сигнализации, разбитого стекла, крика
- Основа для своей модели под звуки конкретного цеха
- Размеры
- от 5,9M (CNN6) до 81,9M (CNN14)
- Железо
- от: Ноутбук
Музыка и звукGGUF2024–2026
Stability AI · Великобритания
Генерация коротких музыкальных фрагментов и звуковых эффектов по описанию. Третья версия разделена на модели для музыки и для звуков.
- Звуковые эффекты для роликов и игр
- Фоновая музыка и джинглы
- Звуки для интерфейсов
- Размеры
- около 0.5B – 2.3B
- Железо
- от: Ноутбук
Диагностика по звуку2023–2026
Xiaomi · Китай
Компактные модели разметки звука: от 5,5M до 86M, есть сборки ONNX и INT8, работают на обычном процессоре и на плате рядом с оборудованием. Система не ставит диагноз, а даёт повод проверить узел раньше, чем он встанет.
- Разметка звука на слабом железе и на объекте
- Детекция тревожных звуков и нештатного шума
- Дообучение под свой набор звуков оборудования
- Размеры
- 5,5M – 86M
- Железо
- от: Ноутбук
Диагностика по звуку2024–2026
Xiaomi · Китай
Универсальный кодировщик звука, обученный на 272 тысячах часов записей речи, музыки и шумов: даёт признаки, поверх которых учат свой классификатор нештатных звуков. Система не ставит диагноз, а даёт повод проверить узел раньше, чем он встанет.
- Признаки звука для своей модели аномалий
- Поиск похожих фрагментов в архиве записей
- Дообучение под звуки конкретной линии
- Размеры
- 86M – 1.2B
- Железо
- от: Ноутбук
Аватары2026
SII-GAIR и Sand.ai · Китай
Генерирует видео с говорящим человеком сразу со звуком: один трансформер обрабатывает текст, видео и аудио. Речь на 7 языках, русского в списке нет. Есть дистиллированные быстрые версии.
- Видео с ведущим по сценарию
- Рекламные ролики с говорящим персонажем
- Обучающие видео с диктором
- Размеры
- 15B
- Железо
- от: 1 видеокарта
Музыка и звук2025–2026
Alibaba Tongyi (FunAudioLLM) · Китай
Генерирует и редактирует звук к видео, тексту или аудио, сначала «рассуждая» о сцене через мультимодальную модель. PrismAudio — следующая версия для звука к видео.
- Звук к видео по сцене
- Редактирование отдельных звуков в дорожке
- Звуковые эффекты по описанию
- Размеры
- размер на карточке не указан
- Железо
- от: 1 видеокарта
ВидеоGGUF2026
OpenMOSS / MOSI · Китай
Генерирует видео сразу со звуком: речь с синхронными губами, эффекты и окружение в одном проходе. MoE-архитектура на 32B параметров, есть версии 360p и 720p.
- Короткие ролики с речью и звуком по описанию
- Рекламные сцены с диалогами
- Прототипы видео для сторибордов
- Размеры
- 32B-A18B
- Железо
- от: 1 видеокарта
Компьютерное зрение2025
Meta · США
Семейство энкодеров Meta для картинок и видео, а с версией PE-AV — и для звука. PE-Core ищет по тексту точнее SigLIP 2 (по данным Meta), есть малые версии.
- Поиск фото и видео по описанию
- Разметка и теги каталога
- Поиск по звуку и видео (PE-AV)
- Размеры
- размер на карточке не указан
- Железо
- от: Ноутбук
Голос: спикеры и звук2025
Meta · США
Модель вырезает из записи нужный звук по текстовому описанию, по отметке на видео или по отрезку: голос, инструмент, шум. Доступ к весам выдают по заявке.
- Выделить голос одного человека из шумной записи
- Убрать посторонний звук из видео
- Разобрать запись на отдельные источники звука
- Размеры
- small, base, large (от 5 до 15 ГБ весов)
- Железо
- от: 1 видеокарта
Диагностика по звуку2025
Carnegie Mellon University и соавторы (проект ESPnet) · США
Полностью открытое повторение BEATs: опубликованы код, рецепты обучения и веса. Берут, когда нужна прозрачная основа для своей модели разбора звука. Система не ставит диагноз, а даёт повод проверить узел раньше, чем он встанет.
- Прозрачная основа для своей модели звука
- Дообучение под свои записи оборудования
- Разметка звуковых событий
- Размеры
- базовая и большая версии, точные размеры указаны в карточках моделей
- Железо
- от: Ноутбук
Видео2025
Character.AI · США
Генерирует видео вместе со звуком и речью по тексту или картинке: две ветви (видео на базе Wan 2.2 и аудио 5B) работают синхронно. Нужно 24–32 ГБ видеопамяти.
- Короткие ролики с говорящими персонажами
- Оживление картинки с озвучкой
- Прототипы рекламных сцен
- Размеры
- 11B
- Железо
- от: 1 видеокарта
Музыка и звук2025
ASLP-lab (Северо-Западный политехнический университет) · Китай
Быстрая генерация полной песни с вокалом по тексту и образцу стиля, до нескольких минут звучания.
- Песни и джинглы по тексту
- Музыка для роликов
- Демо-версии композиций
- Размеры
- около 1.1B
- Железо
- от: Ноутбук
Музыка и звук2025
Tencent Hunyuan · Китай
Генерирует звук студийного качества (48 кГц) к видео по картинке и текстовой подсказке: шаги, удары, окружение, синхронно с действием в кадре.
- Фоли и звуковые эффекты к видео
- Озвучка ИИ-роликов для рекламы
- Саунд-дизайн для коротких видео
- Размеры
- не указан в карточке (веса около 10 ГБ; XL-версия с выгрузкой в память)
- Железо
- от: 1 видеокарта
Диагностика по звуку2024–2025
Shanghai Jiao Tong University и Peng Cheng Laboratory · Китай
Самообучаемая модель разбора звука, которую заметно дешевле обучать под свои данные, чем предшественников. Система не ставит диагноз, а даёт повод проверить узел раньше, чем он встанет.
- Обучение своей модели звука на скромном железе
- Признаки звука для поиска нештатных режимов
- Разметка звуковых событий на объекте
- Размеры
- 90M (base) и 309M (large)
- Железо
- от: Ноутбук
Диагностика по звуку2024–2025
MIT CSAIL и MIT-IBM Watson AI Lab · США
Модель разбора звука на пространстве состояний вместо трансформера: держит записи длиной в часы, что удобно для непрерывного прослушивания линии. Система не ставит диагноз, а даёт повод проверить узел раньше, чем он встанет.
- Разбор длинных непрерывных записей
- Поиск редкого события в многочасовой смене
- Разметка звуковых событий на объекте
- Размеры
- 30M (small) и 49M (medium)
- Железо
- от: Ноутбук
Музыка и звук2024
Иллинойсский университет и Sony AI · США / Япония
Озвучивает немое видео: генерирует шумы и звуковые эффекты, синхронные с происходящим в кадре, по видео и текстовой подсказке. Одна из первых сильных открытых моделей фоли.
- Звуковые эффекты к немому видео
- Озвучка роликов от ИИ-генераторов
- Черновой саунд-дизайн для монтажа
- Размеры
- размер на карточке не указан
- Железо
- от: Ноутбук
Музыка и звук2024
Tencent AI Lab · Китай
Музыкальный энкодер MuQ и модель MuQ-MuLan, которая сопоставляет музыку и текст: можно искать треки по описанию на английском или китайском.
- Поиск музыки по текстовому описанию
- Разметка треков по жанру и настроению
- Подбор похожей музыки
- Размеры
- 300M – 700M
- Железо
- от: Ноутбук
Музыка и звук2023–2024
Meta · США
Генерация инструментальной музыки по текстовому описанию или по мелодии-образцу. Одна из первых открытых моделей такого рода.
- Черновые музыкальные наброски
- Музыка для прототипов роликов
- Исследования
- Размеры
- 300M – 3.3B
- Железо
- от: Ноутбук
Музыка и звукНе развивается2023
LAION · Германия
Аналог CLIP для звука: переводит аудио и текст в общее пространство. Можно искать звуки и музыку по описанию и классифицировать их без обучения. Текст — английский.
- Поиск звуков и музыки по описанию
- Автоматические теги для аудиотеки
- Распознавание типа звука (сирена, стекло, голос)
- Размеры
- размер на карточке не указан
- Железо
- от: Ноутбук
Диагностика по звукуНе развивается2022
Microsoft · США
Самообучаемая модель разбора звука, ставшая опорой для многих современных систем: её берут как основу и дообучают под свои звуки оборудования. Система не ставит диагноз, а даёт повод проверить узел раньше, чем он встанет.
- Основа для своей модели разбора звука
- Признаки звука для поиска нештатных режимов
- Разметка звуковых событий на объекте
- Размеры
- модель уровня ViT-base, около 90M параметров
- Железо
- от: Ноутбук
Музыка и звукНе развивается2022
MIT · США
Классическая модель 2021 года для распознавания звуков: определяет 527 классов событий AudioSet (сирена, лай, стекло, музыка). Лёгкая, работает без видеокарты, с 2022 года в Transformers.
- Распознавание звуковых событий
- Разметка аудиоархива
- Детекция тревожных звуков
- Размеры
- около 87M
- Железо
- от: Ноутбук
