Картинка + текст

VideoLLaMA

Модели, которые смотрят видео и отвечают на вопросы о нём: что происходит, в какой момент, кто что делает. VideoLLaMA 3 на 2B и 7B — одни из сильнейших в своём размере.

Разработчик
Alibaba DAMO Academy, Китай
Первый выпуск
май 2023
Последний выпуск
янв 2025
Размеры
2B – 72B
Лицензия
Можно в коммерциюApache 2.0 (VideoLLaMA 2 и 3); первая версия построена на LLaMA и несёт её ограничения
Русский язык
Нет
Запуск
Через свой серверНужна видеокарта
Сферы
Медиа и продакшн, Безопасность, Образование
Поставить на свой сервер Hugging Face GitHub

Какие задачи решает

  • Описание и краткий пересказ видео
  • Поиск момента в записи по вопросу
  • Разметка видеоархива
  • Проверка роликов перед публикацией

Где применяется

Медиа и видеопродакшнВидеонаблюдениеОбучение и онлайн-курсы

Требования к железу

НоутбукНоутбук или обычный ПК, до 8 ГБ видеопамяти — младшие версии
подходит
1 видеокартаОдна видеокарта на 16–80 ГБ — средние версии
подходит
КластерСервер с несколькими видеокартами — флагманские версии
подходит

Версии

  1. VideoLLaMA 3 (2B, 7B)
  2. VideoLLaMA 2.1 (в т.ч. аудио+видео)
  3. VideoLLaMA 2
  4. Video-LLaMA

Как внедряю у заказчика

  1. ПодборВыбираю размер модели под задачу и ваше железо, проверяю на ваших примерах.
  2. УстановкаРазворачиваю на вашем сервере или в закрытом контуре, отдаю API.
  3. ДообучениеДообучаю на ваших данных (LoRA) или подключаю базу знаний — что дешевле для задачи.
  4. ВстраиваниеПодключаю к CRM, 1С, боту, сайту или рабочему чату, настраиваю мониторинг.

Похожие модели

Картинка + текстInternVideoShanghai AI Lab (OpenGVLab) · КитайМожно в коммерцию

Семейство моделей для видео: энкодеры для поиска и классификации роликов и чат-модели, которые разбирают длинные видео. InternVideo 3 рассчитан на многочасовые записи.

ПодробнееКартинка + текстQwen-VLAlibaba (команда Qwen) · КитайМожно в коммерцию

Одна из сильнейших открытых моделей зрения: читает документы, таблицы, графики, видео, работает с интерфейсами. С Qwen3.5 зрение встроено прямо в основную модель Qwen.

ПодробнееКартинка + текстLLaVALLaVA / LMMs-Lab (исследователи из США и Китая) · США / КитайМожно в коммерцию

Открытый проект, с которого пошла мода на модели «картинка + текст». Линейка OneVision понимает фото, документы и видео; открыты данные и рецепты обучения.

Подробнее