FLUX 3 Action: мозг для робота-манипулятора на игровой видеокарте

Мозг для робота теперь влезает в игровой компьютер

До этой недели сильные открытые модели для роботов-манипуляторов просили серверную видеокарту. Прошлый лидер, Cosmos 3 Nano от NVIDIA, весит 16 миллиардов параметров. FLUX 3 Action больше чем вдвое меньше, 7 миллиардов, и при этом решает больше задач.

По данным разработчиков, в полной точности модели нужно около 32 ГБ видеопамяти. В сжатом режиме FP8, если вынести текстовый блок из видеокарты, она помещается в 24 ГБ. Столько памяти у RTX 3090 и RTX 4090, которые стоят в игровых компьютерах.

Веса, код и рецепты дообучения открыты. Модель подключена к LeRobot, библиотеке Hugging Face для роботов, и к недорогой учебной руке SO-101. Для запуска прямо на устройстве заявлена поддержка NVIDIA Jetson.

Источники: страница модели у Black Forest Labs и карточка на Hugging Face.

Как она управляет роботом

На вход модель получает три вещи: кадры с камеры, текущее положение суставов робота и команду текстом, например «положи красный кубик в коробку». На выходе пачка следующих движений. Для набора DROID это 32 шага, около двух секунд при 15 обновлениях в секунду. Для SO-101 шагов 42, и обновлений 30 в секунду.

Вместе с движениями модель предсказывает ближайшие кадры видео. Такой класс разработчики называют world action model, модель мира плюс действия. Логика понятная: чтобы взять коробку, полезно заранее представить, куда она сдвинется после касания. Команду читает готовая модель Qwen3-VL-4B, видео сжимает отдельный кодировщик, оба заморожены. Учится только основная часть на 7 миллиардов.

Под новый робот нужна своя «голова», слой, который переводит решения модели в сигналы конкретных моторов. Для SO-101 компания показала дообучение примерно на 200 записях, где человек вёл руку вручную.

Что показали тесты

RoboLab-120 это набор из 120 задач на манипуляцию. Результаты из отчёта BFL:

• FLUX 3 Action: 42,92%;
• Cosmos 3 Nano: 36,8%;
• π0.5: 28,0%;
• DreamZero: 25,7%;
• GR00T N1.6: 7,2%.

Отрыв от Cosmos 3 Nano 6,1 процентного пункта при размере меньше вдвое. По скорости BFL заявляет 1,52–3,95 раза быстрее Cosmos 3 Nano в FP8 и 1,34–2,28 раза быстрее π0.5, в зависимости от видеокарты. Есть облегчённые версии. Одна работает примерно вдвое быстрее и почти не теряет в качестве, 42,2%. Вторая ещё быстрее, но успех падает до 37,92%.

На живом железе команда Positronic Robotics проверила модель на руке Franka: 28 удачных попыток из 30. Это отдельные задачи, общий уровень надёжности они не показывают.

Лицензия: что можно бесплатно

Веса открыты под FLUX Kommunity License v1.0. Бесплатно можно всё некоммерческое: исследования, эксперименты, тесты и оценку внутри компании, пока модель не работает в производственной среде. Некоммерческое применение в роботах лицензия разрешает прямо.

Коммерция открыта «квалифицированным пользователям», то есть компаниям с годовой выручкой меньше 5 млн долларов вместе с аффилированными. Им можно использовать результаты работы модели в коммерческих целях, и предсказания действий в определении результатов упомянуты. Компаниям крупнее нужна отдельная лицензия BFL, возможно платная. Про роботов в проде формулировки читаются неоднозначно, поэтому перед запуском в рабочую смену я бы запросил у BFL письменное подтверждение. Как читать такие лицензии по слоям, я разбирал в статье про лицензии открытых моделей.

Чего пока нельзя

42,92% это первое место и одновременно меньше половины задач. Складу, где робот повторяет одно движение тысячу раз за смену, такой уровень без дообучения не подходит. На своей узкой операции после дообучения процент будет выше, насколько выше, покажет только пилот.

Модель выдаёт целевые положения суставов и ничего не знает про безопасность. В карточке так и написано: скорость, усилие и рабочую зону модель не ограничивает, это делает ваше приложение, а аварийная кнопка должна быть под рукой. Управлять машиной так, чтобы это угрожало людям, без надзора и возможности остановить её, лицензия запрещает.

Показательные ролики выбирала сама компания. Сколько видеопамяти нужно для дообучения, в документации не сказано, цифра 24 ГБ относится к запуску готовой модели.

Что можно сделать уже сейчас

Разумный путь для бизнеса такой: одна операция, свои записи, огороженная зона и человек рядом. Вот где это имеет смысл.

Сортировка. Манипулятор над лотком раскладывает мелкие детали, пакеты или посылки по двум-трём коробкам. Ошибка стоит одной переложенной вещи, и человек рядом видит её сразу. 200–300 записей для такой операции оператор набирает за пару дней.

Упаковка и комплектация. Рука кладёт товар в короб, а команда меняется под заказ: «два синих, один белый». Модель понимает инструкцию словами, и программу под каждый артикул переписывать не нужно. Как такой участок стыкуется с 1С и WMS, описано на странице роботизации склада.

Прототип на учебной руке. Набор SO-101 из ведущей и ведомой руки стоит около 220–240 долларов без печатных деталей. На нём за неделю видно, справляется ли модель с вашей операцией, до покупки промышленного манипулятора.

Проверка результата. Камера над выходом смотрит, правильно ли легла деталь, и останавливает линию при ошибке. Этот слой от модели не зависит и нужен в любом случае, его собирают на компьютерном зрении.

Сколько стоит железо

Для запуска нужна карта на 24 ГБ. В сентябре 2026 года RTX 4090 в российской рознице стоит от 200 тысяч рублей, б/у RTX 3090 заметно дешевле. RTX 5090 на 32 ГБ, на которой BFL мерила скорость, подорожала до 500 тысяч рублей и выше. Как выбрать карту, я писал в статье про видеокарты для локального ИИ.

Видеокарта в таком проекте не главная статья расходов. Промышленный или коллаборативный манипулятор стоит в разы дороже, сверху захват, ограждение, камеры и интеграция. Где роботы окупаются у небольших компаний, разобрано в статье о робототехнике для малого бизнеса. Прошлого лидера можно посмотреть в карточке NVIDIA Cosmos в каталоге моделей.

Частые вопросы

Можно ли запустить FLUX 3 Action на обычном компьютере?

Если в нём карта с 24 ГБ видеопамяти, да, в режиме FP8 с выносом текстового блока. Для работы прямо на роботе заявлена поддержка NVIDIA Jetson.

Нужно ли собирать свои данные?

Для нового робота или новой операции нужно. Под SO-101 разработчики дообучали модель примерно на 200 записях с ручным управлением. Готовые версии выложены для SO-101 и для набора DROID с рукой Franka.

Можно ли использовать модель в коммерческом проекте?

Тесты и оценка внутри компании бесплатны. Коммерческое применение разрешено компаниям с выручкой меньше 5 млн долларов в год, крупнее нужна отдельная лицензия BFL. Для робота в рабочей смене условия лучше подтвердить у BFL письменно.

Коротко о главном

Лидер открытого рейтинга RoboLab-120 запускается на видеокарте от 200 тысяч рублей, и его можно дообучить на своих записях. 42,92% успеха мало для смены без человека, зато хватает для честного пилота на одной операции с огороженной зоной и аварийной кнопкой.

Есть операция на складе или в цехе, которую хочется отдать руке-манипулятору? Напишите мне в Telegram слово «МАНИПУЛЯТОР». Разберём, подходит ли она для пилота, сколько записей собрать и какое железо купить первым.