Агенты для компьютераКомпьютерное зрение

OmniParser

Разбирает скриншот на кнопки, поля и иконки с подписями, чтобы обычная языковая модель понимала экран и могла им управлять. Сам не кликает, а служит «глазами» агента.

Разработчик
Microsoft, США
Первый выпуск
окт 2024
Последний выпуск
фев 2025
Размеры
менее 1B (детектор + подписи)
Лицензия
Коммерция с условиямиДетектор иконок — AGPL-3.0, модель подписей — MIT
Запуск
Через свой серверРаботает и без видеокарты
Сферы
Разработка ПО, Документы и бухгалтерия
Поставить на свой сервер Hugging Face GitHub

Какие задачи решает

  • Разметка экранов старых программ для автоматизации
  • Подготовка агента к работе в интерфейсе
  • Проверка, что на экране есть нужные элементы

Где применяется

IT и тестированиеБэк-офисАвтоматизация процессов (RPA)

Требования к железу

НоутбукНоутбук или обычный ПК, до 8 ГБ видеопамяти — младшие версии
подходит
1 видеокартаОдна видеокарта на 16–80 ГБ — средние версии
нет версий
КластерСервер с несколькими видеокартами — флагманские версии
нет версий

Версии

  1. OmniParser v2
  2. OmniParser v1

Как запустить

На своём сервереВеса скачиваются с Hugging Face, запуск — через vLLM (нагрузка и API) или llama.cpp (скромное железо). Так модель работает в закрытом контуре, без оплаты за запросы.Hugging Face
Сколько нужно железаПосчитайте видеопамять под нужный размер модели, контекст и число одновременных запросов.Открыть калькулятор железа

Ставлю и настраиваю под ключ: подберу размер модели, разверну на вашем сервере, подключу к вашим системам.

Частые вопросы

Можно ли использовать OmniParser в коммерческом проекте?

С условиями. Лицензия: Детектор иконок — AGPL-3.0, модель подписей — MIT. Ограничения бывают разными — регион, выручка компании, требование указывать авторство. Перед коммерческим запуском проверьте условия с юристом.

Какое железо нужно для OmniParser?

Минимум: Ноутбук или обычный ПК, до 8 ГБ видеопамяти — младшие версии. Есть версии, которые работают и без видеокарты, на обычном процессоре. Точный объём видеопамяти под ваш размер модели и контекст можно посчитать в калькуляторе железа.

Поддерживает ли OmniParser русский язык?

Для этой модели язык не важен: она работает не с текстом.

Где скачать OmniParser и сколько это стоит?

Веса OmniParser лежат в открытом доступе и скачиваются бесплатно. Платить нужно только за железо, на котором модель работает, и за настройку. Ссылки на первоисточник — в конце страницы.

Как внедряю у заказчика

  1. ПодборВыбираю размер модели под задачу и ваше железо, проверяю на ваших примерах.
  2. УстановкаРазворачиваю на вашем сервере или в закрытом контуре, отдаю API.
  3. ДообучениеДообучаю на ваших данных (LoRA) или подключаю базу знаний — что дешевле для задачи.
  4. ВстраиваниеПодключаю к CRM, 1С, боту, сайту или рабочему чату, настраиваю мониторинг.

Похожие модели

Агенты для компьютераUI-TARSByteDance Seed · КитайМожно в коммерцию

Модель, которая смотрит на скриншот и сама двигает мышью и клавиатурой: кликает, заполняет поля, переходит по меню. Открыты 1-е поколение и 1.5-7B; UI-TARS-2 весов не открыл.

ПодробнееКартинка + текстFlorence-2Microsoft · СШАМожно в коммерцию

Очень маленькая модель зрения: подписи, поиск объектов, сегментация и чтение текста по одной команде. Работает даже на процессоре.

ПодробнееКомпьютерное зрениеYOLO (Ultralytics)Ultralytics · СШАКоммерция с условиями

Самый распространённый детектор объектов в реальном времени: находит и выделяет предметы на видео даже на слабом железе. YOLOv5 вышел ещё в 2020, в каталоге отсчёт от YOLOv8.

Подробнее

Источник: huggingface.co/microsoft/OmniParser-v2.0. Данные сверены с карточкой модели 22.09.2026. Лицензию перед коммерческим запуском проверьте с юристом.