Модели для робототехники связывают зрение, понимание команд и действия: учат манипулятор брать предметы, а мобильную платформу ориентироваться в пространстве. Это направление для складов, производства и исследовательских проектов. Смотрите, с каким оборудованием совместима модель, нужно ли дообучение и что разрешает лицензия.
Модель управления роботами, обученная в основном на синтетических данных из модели мира. Позволяет меньше тратить на сбор данных с реальных роботов.
Модели «мира» для роботов и беспилотников: генерируют реалистичное видео физических сцен и предсказывают действия. Cosmos 3 объединяет понимание, генерацию и управление.
Модель управления роботами от Ant Group, обученная на большом объёме данных с реальных роботов. Версия 2.0 работает с разными типами манипуляторов.
Открытые модели управления роботами от Xiaomi. Robotics-1 рассчитана на бытовые и кухонные задачи, U0 объединяет понимание сцены и действия.
Полностью открытая модель управления роботом, которая сначала «рассуждает» о пространстве и траектории, а потом действует. Ход рассуждений можно проверить.
Базовая модель NVIDIA для человекоподобных роботов и манипуляторов: видит, понимает команду и выдаёт движения. Встроена в экосистему Isaac.
Модели управления роботами от Physical Intelligence: складывание белья, уборка, работа с предметами. π0.5 лучше справляется в незнакомой обстановке.
Маленькая модель управления роботом, которая работает на обычном ноутбуке. Обучена на открытых данных сообщества LeRobot, подходит для недорогих манипуляторов.
Первая крупная открытая модель «зрение-язык-действие»: робот-манипулятор выполняет команды вроде «положи яблоко в миску». OFT ускоряет её в разы.
Модель-агент, которая одинаково планирует действия и в интерфейсе (кнопки на экране), и для робота (движения манипулятора). Пока скорее исследовательская база, чем готовый продукт.
Открытую модель можно поставить на свой сервер: данные не уходят в чужое облако, нет оплаты за каждый запрос, модель можно дообучить на ваших документах.
