Мультимодальные модели: картинка и текст

Такие модели смотрят на изображение и отвечают на вопросы о нём: описывают товар на фото, разбирают скриншот, график или схему, находят детали на снимке. Это основа для проверки фотоотчётов, карточек товаров и визуальной поддержки. При выборе проверьте качество ответов на русском, лицензию и объём видеопамяти.

В подборке 98 семейств открытых моделей.Обновлено 22.09.2026Открыть весь каталог с фильтрами
ТекстGGUF2025–2026

Kimi

Moonshot AI · Китай

Сверхкрупные MoE-модели Moonshot для агентной работы. K3 на 2,8 трлн параметров — самая большая открытая модель на момент выхода, с контекстом до 1 млн токенов и пониманием картинок; K2.7-Code заточена под программирование. 4 ноября открыли веса K3.1 Pro (2,8 трлн параметров, 104B активных, контекст 1 млн токенов, картинки): доработка K3 для программирования, 3D и финансовых исследований; по тестам самой Moonshot, Terminal-Bench 4.0 65,7%. Веса в MXFP4, около 1,56 ТБ, запускается через vLLM и SGLang, нужен серьёзный кластер.

  • Многошаговые агенты: поиск, сбор данных, отчёты
  • Глубокий анализ документов
  • Помощь программистам
Размеры
16B-A3B – 2.8T-A104B
Железо
от: 1 видеокарта
Коммерция с условиямиПодробнее
Картинка + текст2026

Mage-VL-Cowork

Microsoft · США

Компактная модель на 4B, которая сама управляет компьютером: смотрит на скриншот и кликает, а когда выгоднее, переключается на командную строку и правит файлы кодом. Обе роли в одной модели, без внешнего оркестратора. По тесту OSWorld-Verified (50 шагов) набирает 66,0%, по словам авторов лучший результат среди моделей на 4B, на задачах операционной системы 87,5%. Обучена из промежуточной Mage-VL в пять этапов, с набором из почти 294 тысяч синтетических задач на 6915 навыков. Контекст при обучении и запуске 32 768 токенов, архитектура держит до 262 144. Подходит для офисной автоматизации и помощников на своём компьютере. Цифры авторов.

  • агент, который работает в приложениях по скриншотам и командной строке
  • автоматизация офисных задач на своём компьютере без облака
  • прототип помощника, управляющего рабочим столом
Размеры
4B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
ТекстOllama2024–2026

NVIDIA Nemotron

NVIDIA · США

Модели NVIDIA для агентов и рассуждений, заточенные под быстрый запуск на её видеокартах. Nemotron 3 это гибрид Mamba и MoE от 4B до 550B; Nano Omni разбирает видео, аудио и картинки (только английский). Новая Nemotron 3.5 Super VL (120B, активны 12B, контекст до 1 млн токенов) читает текст, картинки и видео до двух минут, упор на документы и агентов; сжатая Bolt (74B, активны 9B) умещается в 24 ГБ видеопамяти. Языки Super VL: английский, испанский, французский, немецкий, итальянский, японский. Dory 1.0 (4B, контекст до 256 тысяч токенов, английский) прогоняет один и тот же блок слоёв несколько раз, и число проходов можно менять под задачу: больше проходов даёт больше точности без новой модели и без длинных рассуждений в тексте.

  • Агенты с вызовом инструментов
  • Задачи с рассуждением и расчётами
  • Ответы по длинным документам
Размеры
4B – 550B-A55B
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Разбор текстаRU2026

Liquid d1

Liquid AI · США

Маленькие модели решений: по тексту, картинке или голосовой записи отвечают «да или нет», выбирают вариант или ставят оценку за один проход, текст не пишут. d1-3B видит картинки, d1-omni-600M ещё и слышит речь до 30 секунд. Русский заявлен. Открытые d1-2B (текст, картинки и видео, на базе LFM3-VL-2B) и d1-Omni-2B (ещё и звук) решают за миллисекунды, по замерам авторов 5,7 мс на H100; кроме выбора ответа они вытаскивают текст, числа и даты с позициями и находят объекты на картинке. Это не чат-модель.

  • сортировка обращений и заявок по отделам
  • проверка фото на браке или нарушении по списку вопросов
  • маршрутизация голосовых команд
Размеры
600M, 2B и 3B
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
ТекстRUOllama2025–2026

Liquid LFM

Liquid AI · США

Модели новой архитектуры для работы прямо на устройстве: быстрые на обычном процессоре и в телефоне. Есть версии для извлечения данных, RAG и инструментов, а также LFM2.5-VL для картинок и голосовая LFM2.5-Audio. Старшая LFM2.5-24B-A2B (2,45B активных, контекст 131 тысяча токенов, русский в списке языков) всегда рассуждает перед ответом и рассчитана на быстрых агентов на устройстве. В октябре вышло поколение LFM3 на новой трёхгибридной архитектуре: LFM3-1.7B для локальных агентов (контекст 256 тысяч токенов, около 1 ГБ памяти в 4 бита, предобучена на 22 трлн токенов), LFM3-VL-2B для картинок, LFM3-Audio-2B для речи и LFM3-Omni-2B, который понимает текст, картинки, видео и звук, а отвечает текстом и речью. Для сложного кода и многошаговых рассуждений авторы её не рекомендуют.

  • Ассистент на ноутбуке или телефоне без интернета
  • Извлечение данных из документов
  • Вызов инструментов в приложениях
Размеры
230M – 24B-A2B
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Агенты для компьютераGGUF2025–2026

UI-Venus

Ant Group (inclusionAI) · Китай

Семейство Ant Group для поиска элементов на экране и выполнения задач в интерфейсе телефона и компьютера. UI-Venus-2 отдельно обучали отказываться от опасных действий. В октябре вышла LBS-27B (Apache 2.0, на базе Qwen3.8-27B): она учится выбирать и приближать нужные участки изображения на разметке интерфейсов и переносит этот навык на обычные вопросы по картинкам.

  • Автоматизация действий в мобильных приложениях
  • Заполнение форм в веб-интерфейсах
  • Автотесты интерфейсов
Размеры
2B – 72B
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Разбор текстаRU2026

vLLM Semantic Router: Decision и Vela

проект vLLM Semantic Router · международный проект

Открытое семейство моделей для ИИ-шлюза: на запрос отвечают вероятностями, не генерируя текст. Определяют тему и срочность, попытку взлома, вредный запрос, персональные данные, нужен ли инструмент. Малые версии работают на процессоре, Vela понимает 17 языков, включая русский. Новая d3 (27B) читает ещё и несколько картинок и видео, а d3-turbo, по оценке самих авторов, точнее её на 4 пункта в тексте. Самая новая в линейке d3-ultra вышла 24 октября.

  • маршрутизация запросов между моделями и командами
  • проверка запроса на попытку взлома и вредное содержание до основной модели
  • поиск персональных данных с координатами в тексте
Размеры
0.3B – 27B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
ТекстRUGGUF2025–2026

MiniMax

MiniMax · Китай

Крупные MoE-модели с очень длинным контекстом (до 1 млн токенов у Text-01 и M3). M3 — мультимодальная, понимает картинки. В октябре вышли открытые веса M3.1-Flash (около 428B, 23B активных, контекст до 1 млн токенов, текст, картинки и видео): модель для программирования, агентов и работы с компьютером, ускоренная разреженным вниманием. Лицензия MiniMax Community: бесплатно для некоммерческого использования; для коммерции нужна надпись «Built with MiniMax M3.1-Flash» и разовое уведомление MiniMax, а при выручке продукта от 20 млн долларов в год отдельное разрешение; военное применение запрещено. Цифры по тестам самой MiniMax. Лицензии сильно различаются от версии к версии.

  • Анализ больших архивов документов за один запрос
  • Агенты с инструментами
  • Помощь программистам
Размеры
230B-A10B – 456B-A46B
Железо
от: Кластер
Коммерция с условиямиПодробнее
ТекстOllama2026

Underdog Saluki

ConwayResearch (Underdog) · не указана

Qwen3.8-27B, сжатая до 2 бит в один файл GGUF на 7,9 ГБ вместо 54 ГБ, с упором на то, чтобы вызов инструментов не ломался. По замерам авторов (их тест Underdog Bench), вызов инструментов 88 против 84 у полной модели, параллельные вызовы 42 против 35, в среднем 96% качества полной модели на девяти тестах. Запускается обычным llama.cpp и Ollama, режим рассуждений включается и выключается, картинки понимает с отдельным файлом зрения (около 0,6–0,9 ГБ). Заявленный язык карточки: английский.

  • агент с вызовом инструментов на домашней видеокарте
  • локальный помощник для программирования с функциями
  • разбор картинок с подключённым файлом зрения
Размеры
27B (файл 7,9 ГБ)
Железо
от: Ноутбук
Можно в коммерциюПодробнее
ТекстOllama2023–2026

DeepSeek

DeepSeek · Китай

Флагманская линия DeepSeek: от первых 7B/67B до V4-Pro на 1,6 трлн параметров. Уровень закрытых моделей при открытой MIT-лицензии; картинки понимают V4-Flash-Vision-Exp и V4.1-Flash, контекст до 1 млн токенов. Свежая V4.1-Flash-1017 отвечает короче и быстрее предыдущей Flash: по замерам самой DeepSeek, на DeepSWE v1.1 77,0 против 74,2, на Terminal-Bench 4.0 42,3 против 31,2.

  • Ассистент для сотрудников на своём сервере
  • Разбор длинных договоров и отчётов
  • Агенты, которые работают с инструментами и API
Размеры
7B – 1.6T-A49B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Текст2026

Muse Spark Open

Meta Superintelligence Labs · США

Крупнейшая открытая модель Meta: 816B параметров, на каждый токен работают 42B, контекст 1 миллион токенов. Понимает текст, картинки, видео и звук, отвечает текстом. Создана для программирования и длинных агентных задач. Обучена на данных более чем на 100 языках. Доступ к весам на Hugging Face выдаётся вручную.

  • агент для работы с кодом и длинными задачами с вызовом инструментов
  • разбор скриншотов, графиков, документов, видео и записей
  • генерация обучающих данных для других моделей
Размеры
816B-A42B
Железо
от: Кластер
Коммерция с условиямиПодробнее
Документы и OCR2026

Youtu-Parsing-Omni

Tencent · Китай

Одна компактная модель превращает страницу документа, график, блок-схему, геометрический чертёж, аудио или видео в структурированный JSON: с координатами блоков, таблицами, формулами, расшифровкой речи и временными метками.

  • разбор сканов и PDF с таблицами и формулами
  • перевод графиков и блок-схем в таблицу или диаграмму
  • расшифровка аудио и видео с временными метками
Размеры
5B
Железо
от: 1 видеокарта
Коммерция с условиямиПодробнее
Разбор текста2026

Intern-Decision

Шанхайская лаборатория искусственного интеллекта · Китай

Модель решений на базе Qwen3.5-4B: по тексту и картинкам отвечает вероятностями на все вопросы о ситуации за один проход, без генерации текста. Подходит для маршрутизации заявок и оценки срочности.

  • сортировка заявок по отделам
  • оценка приоритета и срочности обращений
  • проверка по фото, всё ли в порядке
Размеры
4B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Медицина2026

NV-Reason-CT

NVIDIA · США

Языковая модель для компьютерной томографии: смотрит на объём КТ грудной клетки или брюшной полости целиком, а не на отдельные срезы, пишет структурированные заключения и отвечает на вопросы с рассуждением. Только английский.

  • черновик заключения по КТ для врача
  • ответы «да или нет» по снимку с рассуждением
  • исследования в медицинской визуализации
Размеры
4B (на базе Qwen3.5-4B с 3D-кодировщиком)
Железо
от: 1 видеокарта
Можно в коммерциюПодробнее
Документы и OCR2026

WeVisDoc

Tencent · Китай

Разбирает страницу документа целиком: превращает её в Markdown с формулами в LaTeX и таблицами в HTML. Версия 4B на OmniDocBench v1.6 набирает 95,38. Языки в карточке: английский и китайский.

  • перевод сканов и PDF в Markdown для поиска и RAG
  • распознавание таблиц и формул
  • разбор отчётов и научных статей
Размеры
2B и 4B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Агенты для компьютера2026

UI-Mate

Tencent · Китай

Открытый агент для управления рабочим столом: смотрит на живые скриншоты, рассуждает и выдаёт клики и ввод с клавиатуры. Можно показать рабочий процесс один раз, и агент перенесёт его на новую задачу. Нужна внешняя среда, которая исполнит действия.

  • автоматизация работы в программах без API
  • повторение рабочего процесса по одному показанному примеру
  • тестирование интерфейсов
Размеры
27B
Железо
от: 1 видеокарта
Можно в коммерциюПодробнее
Картинка + текст2026

Interfaze 1 Lite

Interfaze · не указана

Одна модель для разработчиков: читает документы и таблицы, расшифровывает речь с разметкой спикеров, находит объекты на картинке и отвечает строго по заданной JSON-схеме. Внутри ядро для рассуждений и набор узких моделей.

  • разбор документов и таблиц с координатами текста
  • расшифровка записей с разметкой спикеров
  • извлечение данных из документов в заданную JSON-схему
Размеры
модель на 80 ГБ видеопамяти (ядро на базе Qwen3.8-27B)
Железо
от: 1 видеокарта
Коммерция с условиямиПодробнее
Агенты для компьютера2026

AREX-2

Пекинская академия искусственного интеллекта (BAAI) · Китай

Агентная модель на 27B (на базе Qwen3.8-27B) для долгих задач: предлагает решение, замеряет результат, разбирает ошибки и пересматривает решение в несколько заходов. Контекст 262 тысячи токенов. Заявлена как исследовательская.

  • итеративная доработка кода и алгоритмов
  • задачи машинного обучения с проверяемым результатом
  • глубокий поиск и сбор информации по теме
Размеры
27B
Железо
от: 1 видеокарта
Можно в коммерциюПодробнее
Разбор текста2026

JEV и GEV

AutoTrust AI · Сингапур

Открытые модели решений: на вопросы «да или нет», «выбери вариант», «оцени от 0 до 5» отвечают вероятностями за один проход, а при нужде ещё и рассуждают. Не связаны с закрытой Jev от TypeSafe.

  • сортировка заявок и обращений по отделам
  • проверка действия агента перед выполнением
  • оценка срочности и тональности сообщений
Размеры
9B – 35B
Железо
от: 1 видеокарта
Можно в коммерциюПодробнее
Разбор текста2026

pplx-decider

Perplexity · США

Модель решений на базе Qwen3.8-27B: выбирает вариант, отвечает «да или нет» или ставит оценку и возвращает калиброванные вероятности. Понимает и картинки.

  • маршрутизация обращений по командам
  • проверка ответов ИИ на соответствие источникам
  • оценка тональности и срочности писем
Размеры
27B
Железо
от: 1 видеокарта
Можно в коммерциюПодробнее
Разбор текстаOllama2026

Clef

Cloudflare · США

Модели решений: не пишут текст, а читают ситуацию (текст, JSON, картинку, кадры видео, а у Clef-Omni ещё и звук) и за один проход возвращают вероятность каждого варианта ответа на типизированные вопросы «да или нет», «выбери один» и «оцени по шкале». Вместо разбора свободного текста агент получает готовые числа.

  • сортировка обращений и заявок по категориям с вероятностью
  • проверка документа или фото по списку вопросов (всё ли указано, есть ли нарушение)
  • выбор следующего шага агентом без разбора текстового ответа
Размеры
27B, 9B (Clef-flash) и 30B-A3B (Clef-Omni)
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Картинка + текстOllama2024–2026

MiniCPM-V

OpenBMB (ModelBest и Университет Цинхуа) · Китай

Компактные модели зрения, которые работают даже на телефоне и ноутбуке. Хорошо читают текст на фото, понимают видео; версия 4.6 весит всего 1.3B. Свежая 4.7 вышла в двух размерах: 1B и 35B-A3B, первая MoE-модель в семействе. По словам авторов, 35B-A3B с помощью их способа подгрузки экспертов идёт на iPhone 17 Pro Max со скоростью 13+ токенов в секунду при 3 ГБ памяти. Цифры авторов.

  • Распознавание текста на фото прямо на устройстве
  • Разбор чеков и документов без отправки в облако
  • Описание фото и видео
Размеры
1B – 35B-A3B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
ТекстGGUF2025–2026

Step

StepFun · Китай

MoE-модели StepFun, рассчитанные на быструю и дешёвую работу: при 196 млрд параметров Step-3.5/3.7-Flash задействуют около 11 млрд на токен. Есть компактные Step3-VL-10B для картинок и голосовая Step-Audio 2 mini. Флагман Step 5 Preview (600B, активны 27B, контекст до 1 млн токенов, текст и картинки на входе) создан для агентов, программирования и финансовых задач.

  • Агенты с высокой нагрузкой
  • Разбор документов со схемами и скриншотами
  • Помощь программистам
Размеры
8B – 600B
Железо
от: 1 видеокарта
Коммерция с условиямиПодробнее
Текст2026

Ternary Bonsai

Prism ML · США

Сжатая Qwen3.8-27B: весит 5,9 ГБ вместо 54 ГБ и сохраняет около 98% качества исходной. Контекст 262 тысячи токенов, понимает картинки и вызывает инструменты. Для запуска нужен форк llama.cpp от авторов.

  • агент для работы с кодом на своём компьютере
  • разбор документов без отправки в облако
  • вызов инструментов и автоматизация процессов
Размеры
27B (1,72 бита на вес)
Железо
от: Ноутбук
Можно в коммерциюПодробнее
ТекстRUOllama2024–2026

Aya

Cohere Labs · Канада

Многоязычные модели исследовательского крыла Cohere, от 23 до 100+ языков. Tiny Aya 2026 года на 3.3B работает на обычном ПК, но только некоммерчески.

  • Перевод и переписка на редких языках
  • Многоязычный чат-ассистент
  • Разбор изображений с текстом (Vision)
Размеры
3.3B – 35B
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Чертежи и CADRUGGUF2026

GreenMap Blueprint

GreenMap · не раскрыта

Набор небольших моделей под русскоязычные строительные чертежи: находит поле чертежа, штамп и легенду, размечает стены и штриховки, вытаскивает данные листа в JSON и ссылки на нормы. Черновик, который проверяет инженер.

  • Поиск штампа, легенды и поля чертежа на листе
  • Разметка стен и штриховок на поэтажном плане
  • Извлечение данных с чертежа в структурированный JSON
Размеры
3.5M – 4B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
МедицинаGGUF2023–2026

HuatuoGPT

FreedomIntelligence (Китайский университет Гонконга, Шэньчжэнь) · Китай

Большое семейство медицинских моделей: чат, версия со снимками, рассуждающая HuatuoGPT-o1 и новая HuatuoGPT-3 на Qwen3. Не заменяет врача, решения принимает специалист.

  • Черновики выписок для проверки врачом
  • Поиск по медицинской литературе
  • Подсказки при разборе снимков для врача (Vision)
Размеры
7B – 72B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
ТекстOllama2023–2026

InternLM / Intern-S

Shanghai AI Laboratory · Китай

Модели Шанхайской лаборатории ИИ. Ранняя линия InternLM — универсальная, новая Intern-S1/S2 — научная: понимает формулы, молекулы, графики и картинки.

  • Помощник исследователя: статьи, формулы, данные
  • Разбор научных и технических документов
  • Корпоративный чат на малых моделях
Размеры
1.8B – около 1T
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Документы и OCR2026

jina-ocr-v1

Jina AI · Германия

Разбор документов одной моделью: страница целиком превращается в Markdown — текст в правильном порядке чтения, таблицы и формулы в LaTeX. Построена на DeepSeek-OCR, активны только 0,6 млрд параметров из 3,4.

  • Перевод сканов и PDF в Markdown
  • Распознавание таблиц и формул
  • Разбор счетов, актов и отчётов
Размеры
3.4B-A0.6B
Железо
от: 1 видеокарта
Только некоммерческоеПодробнее
Картинка + текст2026

LensVLM

Apple · США

Читает длинные документы иначе: превращает страницы в уменьшенные картинки и разворачивает полный текст только тех страниц, которые нужны для ответа. Так на длинный документ уходит меньше контекста.

  • Ответы по многостраничным документам
  • Поиск нужной страницы в большом отчёте или деле
  • Разбор сканов и PDF без предварительного распознавания
Размеры
9B
Железо
от: 1 видеокарта
Только некоммерческоеПодробнее
ТекстGGUF2025–2026

MiMo

Xiaomi · Китай

Модели Xiaomi для рассуждений и агентов: от компактной MiMo-7B до MiMo-V2.6-Pro на 1,02 трлн параметров. Старшие версии понимают текст, картинки, видео и звук, контекст — 1 млн токенов. Языки: английский и китайский.

  • Логические и расчётные задачи
  • Агенты с инструментами
  • Помощь программистам
Размеры
7B – 1,02T-A42B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Чертежи и CAD2026

CADReasoner

FusionBrain Lab, МГУ и Университет Иннополис · Россия

Строит код CadQuery по изображениям и облаку точек и затем несколько раз правит его сам, сравнивая полученную форму с исходной. Это черновик модели: проверяет и подписывает документ инженер.

  • Восстановление параметрической модели по фото и скану детали
  • Пошаговое уточнение черновой CAD-модели
  • Оцифровка деталей без чертежей
Размеры
2.2B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
ТекстRUOllama2024–2026

Cohere Command

Cohere · Канада

Модели для бизнеса: поиск по документам со ссылками на источники, вызов инструментов, много языков. Command A+ 2026 года впервые вышла под Apache 2.0, за ней — линейка North: код, перевод и компактное зрение.

  • Ответы по базе знаний со ссылками на источники
  • Агенты, работающие с внутренними системами
  • Перевод и переписка на разных языках
Размеры
2.5B – 218B-A25B
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
ТекстOllama2023–2026

GLM (ChatGLM)

Zhipu AI (Z.ai) · Китай

Одна из старейших китайских открытых линий: от ChatGLM-6B до GLM-5.3. Сильна в агентных задачах и программировании; GLM-5.3-Flash понимает картинки и выходит под MIT.

  • Корпоративный чат-ассистент
  • Агенты для рутинных офисных задач
  • Помощь программистам
Размеры
1.5B – 744B-A40B
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
ТекстOllama2026

Muse Glimmer

Meta Superintelligence Labs · США

Открытая модель Meta для агентов на доступном железе: дистиллирована из закрытой Muse Spark, понимает текст и картинки, обучена на 100+ языках.

  • Агенты с вызовом инструментов
  • Разбор скриншотов, графиков и документов
  • Многоязычный ассистент
Размеры
30B
Железо
от: 1 видеокарта
Можно в коммерциюПодробнее
Автономное вождение2025–2026

NVIDIA Alpamayo

NVIDIA · США

Модели «зрение–язык–действие» для беспилотников: по видео с камер строят траекторию и объясняют решение текстом. Используются для разработки и проверки систем автопилота, а не как готовый автопилот.

  • Авторазметка записей с камер для обучения своих систем помощи водителю
  • Разбор сложных дорожных сцен с текстовым объяснением
  • Проверка систем автопилота в симуляторе на редких сценариях
Размеры
10B – 34B
Железо
от: 1 видеокарта
Коммерция с условиямиПодробнее
Агенты для компьютера2025–2026

OpenCUA / Qwen-CUA

XLANG Lab (Гонконгский университет) · Китай

Полностью открытые агенты для рабочего стола: веса, данные и код обучения. Работают в Windows, macOS и Linux, свежий Qwen-CUA управляет компьютером обычными кликами и клавишами.

  • Работа в настольных программах без API
  • Перенос данных между системами
  • Прогон пользовательских сценариев для тестов
Размеры
7B – около 400B (MoE)
Железо
от: 1 видеокарта
Можно в коммерциюПодробнее
ТекстRUOllama2023–2026

Qwen

Alibaba · Китай

Семейство языковых моделей с сильным русским языком: от маленьких версий для ноутбука до флагмана уровня коммерческих API.

  • Чат-бот и ассистент по базе знаний
  • Ответы на письма и обращения
  • Разбор и классификация документов
Размеры
0,6B – 2,4T-A95B
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Автономное вождение2026

Qwen-Drive

Alibaba (команда Qwen) · Китай

Модель для автономного вождения на базе Qwen3.5-4B: 3D-распознавание объектов вокруг машины, ответы на вопросы о дорожной сцене и планирование траектории в одной модели.

  • Прототип восприятия и планирования для беспилотной техники на закрытой территории
  • Ответы на вопросы о записях с камер при разборе инцидентов
  • Разметка дорожных сцен для обучения своих моделей
Размеры
4B
Железо
от: 1 видеокарта
Можно в коммерциюПодробнее
ТекстRUGGUF2025–2026

Apertus

Swiss AI (ETH Zurich, EPFL, CSCS) · Швейцария

Государственная открытая модель Швейцарии: открыты веса, данные и рецепт, более 1000 языков в обучении. Версия 1.5 понимает изображения.

  • Многоязычный ассистент
  • Ответы по документам
  • Разбор изображений и сканов (v1.5)
Размеры
0.5B – 70B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
ТекстOllama2024–2026

EXAONE

LG AI Research · Южная Корея

Корейско-английские модели LG. Большая часть линии некоммерческая, но флагман K-EXAONE 2.0 на 750 млрд параметров вышел под Apache 2.0.

  • Корпоративный ассистент
  • Работа с корейскими и английскими текстами
  • Разбор документов и картинок (4.5)
Размеры
1.2B – 750B-A37B
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Агенты для компьютераGGUF2025–2026

Fara

Microsoft · США

Небольшие модели Microsoft для работы в браузере: смотрят на страницу и кликают, печатают, прокручивают. Рассчитаны на запуск прямо на рабочем компьютере без облака.

  • Заполнение веб-форм и заявок
  • Сбор данных из веб-кабинетов без API
  • Проверка сайтов по сценарию
Размеры
4B – 27B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
ТекстGGUF2026

Inkling

Thinking Machines Lab · США

Флагманские открытые модели лаборатории Миры Мурати: принимают текст, изображения и аудио. Большие MoE, требуют нескольких видеокарт.

  • Корпоративный ассистент уровня флагмана
  • Разбор документов, изображений и аудио
  • Помощь в программировании
Размеры
276B-A12B, 975B-A41B
Железо
от: Кластер
Можно в коммерциюПодробнее
ТекстRUOllama2023–2026

Mistral

Mistral AI · Франция

Европейские модели с упором на скорость. Mixtral — одна из первых открытых моделей на архитектуре «смесь экспертов»; есть версии с картинками (Pixtral, Medium 3.5), для доказательств в Lean и модерации (Shieldstral).

  • Быстрые ответы в чате
  • Извлечение данных из текста
  • Перевод и работа с несколькими языками
Размеры
3B – 675B
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Картинка + текст2026

MOSS-VL

OpenMOSS (Фуданьский университет) · Китай

Модель «картинка + видео + текст» с упором на длинные видео и точную привязку событий к секундам. Есть версия Realtime для потокового видео в реальном времени.

  • Разбор длинных видео и поиск событий по времени
  • Потоковый анализ видео в реальном времени
  • Понимание фото и документов
Размеры
около 11B
Железо
от: 1 видеокарта
Можно в коммерциюПодробнее
Картинка + текстGGUF2024–2026

Ovis

Alibaba (AIDC-AI) · Китай

Модели зрения от международного подразделения Alibaba с сильным чтением текста и таблиц. В линейке есть MoE Ovis2.6 и отдельные компактные OvisOCR для документов.

  • Извлечение данных из счетов, договоров и накладных
  • Распознавание таблиц
  • Ответы на вопросы по фото и графикам
Размеры
0.9B – 80B-A3B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
ТекстOllama2024–2026

Gemma

Google · США

Компактные модели Google: хорошо работают на одном компьютере, старшие версии понимают картинки. Есть CodeGemma для кода, FunctionGemma 270M для вызова функций и быстрая DiffusionGemma.

  • Ассистент на ноутбуке без интернета
  • Разбор фото документов и чеков
  • Классификация обращений
Размеры
270M – 31B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Картинка + текст2023–2026

InternVideo

Shanghai AI Lab (OpenGVLab) · Китай

Семейство моделей для видео: энкодеры для поиска и классификации роликов и чат-модели, которые разбирают длинные видео. InternVideo 3 рассчитан на многочасовые записи.

  • Поиск по видеоархиву текстовым запросом
  • Распознавание действий на видео
  • Ответы на вопросы по длинной записи
Размеры
малые энкодеры – 9B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Картинка + текстOllama2024–2026

Moondream

Moondream (M87 Labs) · США

Небольшая и быстрая модель зрения для продуктовых задач: ответы на вопросы, поиск и указание объектов, подписи. Moondream 3.1 — MoE на 9B с 2B активных.

  • Поиск объектов и подсчёт на фото
  • Проверка фото из полевых отчётов
  • Подписи и теги для каталога
Размеры
2B – 9B-A2B
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Агенты для компьютераGGUF2025–2026

Holo

H Company · Франция

Французское семейство моделей для управления браузером и компьютером: точно находит нужный элемент на экране и ведёт многошаговые задачи. Свежие Holo3 и 3.1 открыты под Apache 2.0.

  • Работа в веб-кабинетах и старых программах без API
  • Заполнение форм и заявок
  • Проверка интерфейсов по сценарию
Размеры
0.8B – 235B-A22B
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Картинка + текстGGUF2025–2026

Keye-VL

Kuaishou · Китай

Модели зрения от Kuaishou с упором на короткие видео. Keye-VL-2.0 (30B, активны 3B) хорошо понимает, что и когда происходит в ролике.

  • Разбор и описание коротких видео
  • Проверка роликов и контента
  • Поиск нужного момента в видео
Размеры
8B – 671B-A37B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Картинка + текстOllama2023–2026

LLaVA

LLaVA / LMMs-Lab (исследователи из США и Китая) · США / Китай

Открытый проект, с которого пошла мода на модели «картинка + текст». Линейка OneVision понимает фото, документы и видео; открыты данные и рецепты обучения.

  • Ответы на вопросы по фото и скриншотам
  • Описание товаров по фотографии
  • Разбор видео по кадрам
Размеры
0.5B – 72B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Чертежи и CADGGUF2026

Zero-to-CAD

Autodesk Research · США

Модель от исследовательского подразделения Autodesk: по восьми ракурсам детали пишет исполняемую программу CadQuery. Обучена только на синтетических данных. Выдаёт черновик, проверяет и подписывает документ инженер.

  • Получение параметрической модели по набору видов детали
  • Перевод готовой геометрии в редактируемый код
  • Черновик модели для конструкторского бюро
Размеры
2B (на основе Qwen3-VL-2B)
Железо
от: Ноутбук
Можно в коммерциюПодробнее
ТекстGGUF2025–2026

Apriel

ServiceNow · США

Модели ServiceNow на 15B с пошаговыми рассуждениями, которые помещаются на одну видеокарту. С версии 1.5 понимают и картинки, хорошо вызывают инструменты.

  • Ассистент с рассуждениями для внутренних сервисов
  • Вызов инструментов и корпоративные агенты
  • Разбор скриншотов и документов с картинками
Размеры
5B – 15B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
ТекстGGUF2025–2026

ERNIE 4.5

Baidu · Китай

Первая открытая линия Baidu: от крошечной 0.3B до MoE на 424 млрд параметров, есть версии с пониманием картинок. Средняя 21B-A3B помещается на одну видеокарту; ERNIE-Image 8B рисует картинки с текстом.

  • Корпоративный ассистент
  • Разбор документов и изображений
  • Классификация обращений
Размеры
0.3B – 424B-A47B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Картинка + текстOllama2025–2026

Granite Vision

IBM · США

Компактные модели IBM для корпоративных документов: таблицы, графики, формы, пары «поле — значение». Карточка честно предупреждает, что лучше всего работает с английским.

  • Извлечение полей из форм и счетов
  • Перевод графиков и таблиц в данные
  • Ответы на вопросы по документам
Размеры
2B – 4B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Агенты для компьютера2024–2026

ShowUI

Show Lab (Национальный университет Сингапура) · Сингапур

Лёгкая модель для работы с интерфейсом: находит кнопки и поля по описанию и выполняет действия в вебе и на телефоне. ShowUI-π умеет перетаскивание мышью.

  • Клики и заполнение форм по описанию задачи
  • Автотесты веб-интерфейсов
  • Помощник на слабом компьютере без облака
Размеры
2B (ShowUI), около 500M (ShowUI-π)
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
МедицинаGGUF2025–2026

Hulu-Med

Чжэцзянский университет · Китай

Медицинская модель для текста, снимков, 3D-исследований и видео: от лёгкой 4B до крупной MoE. Не заменяет врача, решения принимает специалист.

  • Подсказки при разборе снимков и КТ для врача
  • Черновики заключений и выписок
  • Поиск по медицинской литературе
Размеры
4B – 235B-A22B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Картинка + текстRUGGUF2023–2026

InternVL

Shanghai AI Laboratory (OpenGVLab) · Китай

Большая линейка китайских моделей зрения с размерами от 1B до 241B. InternVL-U (4B) объединяет понимание картинок, их генерацию и редактирование.

  • Понимание документов, схем и графиков
  • Ответы на вопросы по фото
  • Разбор видео
Размеры
1B – 241B-A28B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Картинка + текст2024–2026

Molmo

Ai2 (Allen Institute for AI) · США

Полностью открытые модели зрения Ai2 (веса и данные). Умеют указывать точку на картинке и считать предметы; Molmo2 понимает видео, MolmoWeb управляет браузером.

  • Подсчёт товаров и объектов на фото
  • Указание, где на снимке нужный предмет
  • Разбор видео
Размеры
1B-A7B – 72B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Чертежи и CADGGUF2025–2026

OmniSVG

Университет Фудань и StepFun · Китай

Семейство моделей, которые делают SVG и по картинке, и по текстовому описанию — от простой иконки до подробной иллюстрации. Для точных чертежей результат надо сверять с оригиналом.

  • Векторизация картинок и знаков в SVG
  • Создание иконок и пиктограмм по текстовому описанию
  • Подготовка векторной графики для сайта и печати
Размеры
3B – 8B
Железо
от: 1 видеокарта
Можно в коммерциюПодробнее
ТекстRU2025–2026

Reka Flash и Reka Edge

Reka AI · США

Компактные модели Reka: Flash 3 на 21B для рассуждений и Reka Edge на 7B, которая быстро разбирает изображения и видео на устройстве.

  • Разбор фото и видео (Edge)
  • Поиск объектов на изображениях
  • Задачи с рассуждением (Flash)
Размеры
7B – 21B
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Агенты для компьютера2025–2026

GUI-Owl / Mobile-Agent

Alibaba (Tongyi Lab, X-PLUG) · Китай

Модели для управления телефоном и компьютером из проекта Mobile-Agent: работают с Android, Windows, macOS и браузером, в версии 1.5 есть режим с рассуждением.

  • Автоматизация действий в мобильных приложениях
  • Работа в настольных программах без API
  • Тестирование приложений по сценарию
Размеры
2B – 32B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Голосовые ассистентыGGUF2025–2026

MiniCPM-o

OpenBMB (ModelBest, Университет Цинхуа) · Китай

Небольшая модель, которая видит, слышит и отвечает голосом в реальном времени, может клонировать голос. Голосовой диалог на английском и китайском, текст — на 30+ языках.

  • Голосовой ассистент на своём сервере
  • Разбор видео и документов
  • Ответы голосом по картинке с камеры
Размеры
8B – 9B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Картинка + текст2026

Qwen3-VL Resume Parser

Sukhrob Nurali · не раскрыта

Дообученная Qwen3-VL-8B читает страницы резюме как картинки и возвращает запись из 23 полей в JSON. Автор прямо пишет: для автоматических решений по кандидатам модель не предназначена, решение принимает человек.

  • Перенос резюме из PDF в карточку кандидата
  • Заполнение базы кандидатов без ручного ввода
  • Разбор резюме с разной вёрсткой и оформлением
Размеры
8B, дообучение Qwen3-VL-8B-Instruct
Железо
от: 1 видеокарта
Можно в коммерциюПодробнее
Медицина2023–2026

CheXagent / CheXOne

Stanford AIMI · США

Стэнфордские модели для рентгена грудной клетки: описывают снимок и готовят черновик заключения. Не заменяет врача, решения принимает специалист.

  • Черновик описания рентгенограммы для врача-рентгенолога
  • Подсказки при разборе снимков для врача
  • Проверка полноты заключений
Размеры
3B – 8B
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Агенты для компьютераGGUF2026

EvoCUA

Meituan · Китай

Агент Meituan для управления компьютером, обученный на большом числе смоделированных задач в настольных программах. На выходе даёт клики и ввод с клавиатуры.

  • Работа в офисных и старых программах без API
  • Перенос данных между системами
  • Прогон сценариев для тестов
Размеры
8B – 32B
Железо
от: 1 видеокарта
Можно в коммерциюПодробнее
МедицинаGGUF2025–2026

Lingshu

Alibaba DAMO Academy · Китай

Медицинская модель Alibaba на основе Qwen2.5-VL: понимает снимки разных типов и медицинский текст, умеет рассуждать по шагам. Не заменяет врача, решения принимает специалист.

  • Подсказки при разборе снимков для врача
  • Черновики заключений и выписок
  • Поиск по медицинской литературе
Размеры
7B – 32B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
МедицинаOllama2025–2026

MedGemma

Google · США

Медицинская версия Gemma от Google: читает медицинские тексты и снимки (рентген, дерматология, гистология). Инструмент для врача и разработчика, не заменяет врача, решения принимает специалист.

  • Черновики выписок и заключений для проверки врачом
  • Подсказки при разборе снимков для врача
  • Поиск и пересказ медицинской литературы
Размеры
4B – 27B
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
ТекстRUOllama2023–2026

Phi

Microsoft · США

Малые модели Microsoft, обученные на тщательно отобранных данных: сильны в логике и математике при скромном размере. Есть версии с картинками и речью.

  • Ассистент на ноутбуке или своём сервере
  • Задачи с рассуждением и расчётами
  • Разбор изображений и схем (vision-версии)
Размеры
1.3B – 42B-A6.6B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Агенты для компьютера2023–2025

CogAgent / AutoGLM

Zhipu AI (Z.ai) и Университет Цинхуа · Китай

Одна из первых открытых моделей для управления интерфейсом по скриншоту, развитие — AutoGLM-Phone для работы в приложениях смартфона на Android.

  • Автоматизация действий в мобильных приложениях
  • Работа в веб-интерфейсах без API
  • Тестирование приложений по сценарию
Размеры
9B – 18B
Железо
от: 1 видеокарта
Коммерция с условиямиПодробнее
Картинка + текст2023–2025

CogVLM и GLM-V

Zhipu AI (Z.ai) и Университет Цинхуа · Китай

Модели зрения от Zhipu: сначала CogVLM, затем линейка GLM-V. GLM-4.6V умеет вызывать инструменты по картинкам и работать как агент с интерфейсом.

  • Ответы на вопросы по фото и документам
  • Агент, работающий с интерфейсом по скриншотам
  • Разбор графиков и отчётов
Размеры
9B – 106B-A12B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Текст2025

HyperCLOVA X SEED

Naver · Южная Корея

Открытые младшие модели корейского Naver: от 0.5B до 32B, включая рассуждающие Think и мультимодальные версии с пониманием картинок.

  • Лёгкий корейско-английский ассистент
  • Разбор картинок и документов
  • Классификация текстов
Размеры
0.5B – 32B
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Агенты для компьютераGGUF2025

MAI-UI

Alibaba (Tongyi-MAI) · Китай

Компактные модели Alibaba для работы в интерфейсе смартфона и компьютера: находят элементы и выполняют многошаговые задачи. Агент действует от имени пользователя в его приложениях, поэтому доступы и границы задаются до запуска. Продолжение линейки, Qwen-UI-Agent, анонсировано в июле 2026 года, но веса пока не выложены.

  • Автоматизация действий в мобильных приложениях
  • Работа в программах без API
  • Автотесты интерфейсов
Размеры
2B – 8B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Чертежи и CAD2025

QZhou-Flowchart-VL

Kingsoft · Китай

Читает блок-схему с картинки и сначала выписывает её структуру в JSON — блоки, связи и условия ветвления, а потом уже отвечает на вопрос по схеме. Разбор нужно сверять с оригиналом.

  • Перевод блок-схемы с картинки в структуру JSON
  • Ответы на вопросы по схеме процесса
  • Оцифровка регламентов и схем из презентаций
Размеры
32B
Железо
от: 1 видеокарта
Можно в коммерциюПодробнее
Картинка + текстRU2025

A-Vision (Авито)

Авито Тех · Россия

Русскоязычная модель Авито, которая понимает картинки: описывает фото, отвечает на вопросы по изображению, читает надписи. Основа Qwen2.5-VL, на русском быстрее исходной.

  • Описание товара по фото на русском
  • Проверка, что фото совпадает с описанием
  • Чтение брендов и надписей на картинках
Размеры
7.4B
Железо
от: 1 видеокарта
Можно в коммерциюПодробнее
Картинка + текстRUOllama2023–2025

Qwen-VL

Alibaba (команда Qwen) · Китай

Одна из сильнейших открытых моделей зрения: читает документы, таблицы, графики, видео, работает с интерфейсами. С Qwen3.5 зрение встроено прямо в основную модель Qwen.

  • Извлечение данных из сканов счетов и накладных
  • Разбор фотографий товаров и витрин
  • Анализ видео и записей с камер
Размеры
2B – 235B-A22B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Голосовые ассистентыRUGGUF2025

Qwen Omni

Alibaba (Qwen) · Китай

Модели, которые понимают текст, картинки, аудио и видео и отвечают голосом в реальном времени. Qwen3-Omni говорит на 10 языках, включая русский.

  • Голосовой ассистент для клиентов
  • Разбор звонков и видео
  • Ответы голосом по документам и картинкам
Размеры
3B – 30B-A3B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Номера и транспорт2024–2025

VehiclePaliGemma

NYU Abu Dhabi (ComNets) · ОАЭ

Модель, которая смотрит на фото и словами отвечает, что написано на номере: дообучена на малайзийских номерах, под российский формат нужно дообучение. Съёмка машин и людей — работа с персональными данными, порядок согласуйте с юристом.

  • Чтение номера на сложных кадрах
  • Ответы на вопросы по фото транспорта
  • Разбор архива фотографий с камер
Размеры
3B
Железо
от: 1 видеокарта
Коммерция с условиямиПодробнее
Чертежи и CAD2025

cadrille

AIRI, МГУ и Университет Иннополис · Россия

Развитие CAD-Recode: собирает CAD-модель в виде кода CadQuery сразу из трёх видов входа — облака точек, картинки и текстового описания. Выдаёт черновик, проверяет и подписывает документ инженер.

  • Сборка CAD-модели по фотографии детали
  • Восстановление модели по 3D-скану
  • Черновик детали по короткому текстовому описанию
Размеры
2.2B (на основе Qwen2-VL)
Железо
от: Ноутбук
Только некоммерческоеПодробнее
Картинка + текстGGUF2025

Kimi-VL

Moonshot AI · Китай

Экономичная MoE-модель зрения (16B, активны 3B) с длинным контекстом и рассуждающей версией. Хорошо разбирает длинные документы и видео.

  • Разбор длинных PDF и презентаций
  • Ответы на вопросы по видео
  • Работа с интерфейсами по скриншотам
Размеры
16B-A3B
Железо
от: 1 видеокарта
Можно в коммерциюПодробнее
КартинкиGGUF2025

BAGEL

ByteDance Seed · Китай

Единая модель, которая и понимает картинки, и генерирует, и редактирует их по диалогу. Похожа на то, как работают картинки в ChatGPT.

  • Редактирование фото в диалоге
  • Ответы на вопросы по изображению
  • Генерация картинок с пояснениями
Размеры
14B-A7B
Железо
от: 1 видеокарта
Можно в коммерциюПодробнее
ТекстOllama2023–2025

Llama

Meta · США

Модели, с которых начался массовый open source в ИИ. Огромная экосистема дообученных версий и инструментов.

  • Ассистент для сотрудников
  • Суммаризация встреч и документов
  • Основа для дообучения под отрасль
Размеры
1B – 405B
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Картинка + текстGGUF2024–2025

SmolVLM

Hugging Face · Франция / США

Самые маленькие модели зрения Hugging Face: от 256M, работают в браузере и на телефоне. SmolVLM2 понимает и видео.

  • Описание фото и видео на слабом железе
  • Чтение простых документов
  • Встраивание в мобильные и офлайн-приложения
Размеры
256M – 2.2B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Агенты для компьютераGGUF2025

UI-TARS

ByteDance Seed · Китай

Модель, которая смотрит на скриншот и сама двигает мышью и клавиатурой: кликает, заполняет поля, переходит по меню. Открыты 1-е поколение и 1.5-7B; UI-TARS-2 весов не открыл.

  • Работа в старых программах без API
  • Заполнение форм и перенос данных между системами
  • Автотесты интерфейсов по сценарию на обычном языке
Размеры
2B – 72B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Чертежи и CADGGUF2025

StarVector

ServiceNow Research, Mila и ETS Montreal · Канада

Переводит растровую картинку в код SVG: вместо обводки пикселей модель пишет векторные команды, поэтому линии и символы остаются редактируемыми. Сложные чертежи упрощает, результат проверяют глазами.

  • Векторизация схем, знаков и логотипов из растра
  • Перевод сканов простых чертежей в редактируемый вектор
  • Восстановление иконок и пиктограмм из картинок
Размеры
1B и 8B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Агенты для компьютераGGUF2025

Magma

Microsoft Research · США

Модель-агент, которая одинаково планирует действия и в интерфейсе (кнопки на экране), и для робота (движения манипулятора). Пока скорее исследовательская база, чем готовый продукт.

  • Пилоты по управлению интерфейсом
  • Исследовательские проекты на стыке экрана и робототехники
  • Разбор скриншотов с планом действий
Размеры
8B
Железо
от: 1 видеокарта
Можно в коммерциюПодробнее
Картинка + текстGGUF2024–2025

Janus

DeepSeek · Китай

Одна модель и понимает картинки, и рисует их по описанию. Janus-Pro-7B была заметна в начале 2025 года, но по качеству картинок уступает специализированным моделям.

  • Ответы на вопросы по картинкам
  • Черновые иллюстрации по описанию
  • Эксперименты с единой моделью зрения и генерации
Размеры
1B – 7B
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Картинка + текст2023–2025

VideoLLaMA

Alibaba DAMO Academy · Китай

Модели, которые смотрят видео и отвечают на вопросы о нём: что происходит, в какой момент, кто что делает. VideoLLaMA 3 на 2B и 7B — одни из сильнейших в своём размере.

  • Описание и краткий пересказ видео
  • Поиск момента в записи по вопросу
  • Разметка видеоархива
Размеры
2B – 72B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Картинка + текстGGUF2024

PaliGemma

Google · США

Модель зрения Google на базе Gemma, задуманная как основа для дообучения под узкую задачу: подписи, поиск объектов, чтение текста.

  • Дообучение под свою задачу распознавания
  • Поиск объектов на фото
  • Чтение текста на изображениях
Размеры
3B – 28B
Железо
от: Ноутбук
Коммерция с условиямиПодробнее
Картинка + текстНе развивается2023–2024

IDEFICS

Hugging Face · Франция / США

Открытые модели зрения от Hugging Face, воспроизводившие закрытую Flamingo. Idefics3 стала основой для компактной линейки SmolVLM.

  • Ответы на вопросы по картинкам
  • Разбор документов и скриншотов
  • Основа для дообучения
Размеры
8B – 80B
Железо
от: 1 видеокарта
Можно в коммерциюПодробнее
Документы и OCRНе развивается2024

Kosmos-2.5

Microsoft · США

Превращает скан страницы в размеченный текст с координатами блоков или в markdown. Удобна как первый шаг перед разбором резюме. Решение о кандидате принимает человек, автоматический отбор без проверки использовать нельзя.

  • Перевод сканов резюме в текст с сохранением структуры
  • Подготовка документов к извлечению полей
  • Оцифровка бумажных анкет
Размеры
около 1.4B
Железо
от: 1 видеокарта
Можно в коммерциюПодробнее
Картинка + текстНе развивается2024

Florence-2

Microsoft · США

Очень маленькая модель зрения: подписи, поиск объектов, сегментация и чтение текста по одной команде. Работает даже на процессоре.

  • Чтение текста на фото
  • Поиск и выделение объектов
  • Автоматические подписи к фото
Размеры
0.23B – 0.77B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Документы и OCRНе развивается2024

UDOP

Microsoft · США

Одна модель на все задачи с документом: чтение, ответы на вопросы по странице, извлечение полей, классификация. В HR применяется для разбора резюме и приложенных сканов. Решение о кандидате принимает человек, автоматический отбор без проверки использовать нельзя.

  • Извлечение полей из резюме и приложений к нему
  • Ответы на вопросы по содержимому документа
  • Классификация входящих документов
Размеры
742M
Железо
от: Ноутбук
Можно в коммерциюПодробнее
МедицинаНе развивается2023

RadFM

Шанхайский университет Цзяо Тун и Shanghai AI Lab · Китай

Ранняя общая модель для радиологии: понимает 2D- и 3D-снимки (КТ, МРТ) вместе с текстом. Скорее исследовательская база. Не заменяет врача, решения принимает специалист.

  • Исследовательские пилоты по разбору КТ и МРТ
  • Подсказки при разборе снимков для врача
  • Основа для своего дообучения на снимках клиники
Размеры
размер на карточке не указан
Железо
от: 1 видеокарта
Коммерция с условиямиПодробнее
Чертежи и CADНе развивается2023

MatCha и DePlot

Google Research · США

Небольшие модели, которые превращают картинку графика или диаграммы в таблицу с числами и отвечают на вопросы по ней. Цифры с картинки восстанавливаются приблизительно, итог надо сверять.

  • Перевод графика из отчёта или PDF в таблицу
  • Вопросы по диаграмме на естественном языке
  • Короткое текстовое описание графика
Размеры
282M
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Картинка + текстНе развивается2023

Pix2Struct

Google · США

Читает документ или скриншот как картинку и отвечает структурой: текст, поля, ответы на вопросы. В HR её дообучают под резюме и анкеты. Решение о кандидате принимает человек, автоматический отбор без проверки использовать нельзя.

  • Извлечение данных из резюме и анкет в виде картинок
  • Вопросы к содержимому скана
  • Разбор таблиц и схем в документах
Размеры
282M – 1.3B
Железо
от: Ноутбук
Можно в коммерциюПодробнее
Документы и OCRНе развивается2022

Donut

NAVER CLOVA · Южная Корея

Читает скан документа и сразу отдаёт заполненную структуру полей, без отдельного OCR. В HR её дообучают под разбор резюме и анкет. Решение о кандидате принимает человек, автоматический отбор без проверки использовать нельзя.

  • Извлечение полей из анкет и резюме
  • Разбор сканов справок и дипломов
  • Определение типа входящего документа
Размеры
около 200M
Железо
от: Ноутбук
Можно в коммерциюПодробнее

Подборки

Нужна модель под вашу задачу?

Открытую модель можно поставить на свой сервер: данные не уходят в чужое облако, нет оплаты за каждый запрос, модель можно дообучить на ваших документах.

  1. ПодберуМодель и размер под задачу и бюджет на железо
  2. ПоставлюНа ваш сервер или в закрытый контур, с API
  3. ДообучуНа ваших данных или подключу базу знаний
  4. ВстроюВ CRM, 1С, бота, сайт или рабочий чат
Обсудить внедрение