Агенты для компьютераКомпьютерное зрение
OmniParser
Разбирает скриншот на кнопки, поля и иконки с подписями, чтобы обычная языковая модель понимала экран и могла им управлять. Сам не кликает, а служит «глазами» агента.
- Разработчик
- Microsoft, США
- Первый выпуск
- окт 2024
- Последний выпуск
- фев 2025
- Размеры
- менее 1B (детектор + подписи)
- Лицензия
- Коммерция с условиямиДетектор иконок — AGPL-3.0, модель подписей — MIT
Какие задачи решает
- Разметка экранов старых программ для автоматизации
- Подготовка агента к работе в интерфейсе
- Проверка, что на экране есть нужные элементы
Где применяется
IT и тестированиеБэк-офисАвтоматизация процессов (RPA)
Требования к железу
НоутбукНоутбук или обычный ПК, до 8 ГБ видеопамяти — младшие версии
подходит1 видеокартаОдна видеокарта на 16–80 ГБ — средние версии
нет версийКластерСервер с несколькими видеокартами — флагманские версии
нет версийВерсии
- OmniParser v2
- OmniParser v1
Как внедряю у заказчика
- ПодборВыбираю размер модели под задачу и ваше железо, проверяю на ваших примерах.
- УстановкаРазворачиваю на вашем сервере или в закрытом контуре, отдаю API.
- ДообучениеДообучаю на ваших данных (LoRA) или подключаю базу знаний — что дешевле для задачи.
- ВстраиваниеПодключаю к CRM, 1С, боту, сайту или рабочему чату, настраиваю мониторинг.
Похожие модели
Агенты для компьютераUI-TARSByteDance Seed · КитайМожно в коммерцию
Модель, которая смотрит на скриншот и сама двигает мышью и клавиатурой: кликает, заполняет поля, переходит по меню. Открыты 1-е поколение и 1.5-7B; UI-TARS-2 весов не открыл.
ПодробнееКартинка + текстFlorence-2Microsoft · СШАМожно в коммерциюОчень маленькая модель зрения: подписи, поиск объектов, сегментация и чтение текста по одной команде. Работает даже на процессоре.
ПодробнееКомпьютерное зрениеYOLO (Ultralytics)Ultralytics · СШАКоммерция с условиямиСамый распространённый детектор объектов в реальном времени: находит и выделяет предметы на видео даже на слабом железе. YOLOv5 вышел ещё в 2020, в каталоге отсчёт от YOLOv8.
Подробнее