Перейти к содержанию
modelium.
Начать с задачи
←
Абстрактная композиция: полупрозрачные грани и преломлённый свет в тёплых коричневых тонах.

FLUX 3 Action: открытые веса 7B и локальные политики для DROID и SO-101

На странице · 2 разделов

Black Forest Labs выпустила FLUX 3 Action — 7B-модель, которая по кадрам камер, состоянию робота и инструкции предсказывает следующие действия. Веса базового блока и готовых политик DROID и SO-101 доступны на Hugging Face; для автономного вывода опубликован код FLUX Action. Права на веса ограничены FLUX Kommunity License, а не Apache 2.0.

FLUX 3 Action: что выпущено для локального запуска

22 сентября 2026 года Black Forest Labs загрузила на Hugging Face три репозитория семейства FLUX 3 Action: базовый пакет, готовую политику DROID и политику для руки SO-101. История коммитов подтверждает появление пакетов 22 сентября; отдельный репозиторий с кодом FLUX Action создан 23 сентября. Последующие правки карточек не следует выдавать за новый выпуск весов. s1 s2 s3 s4

Это world action model с заявленными авторами 7 млрд параметров: на вход подаются изображения камер, состояние робота и текстовая задача, на выходе — последовательность управляющих действий и предсказанные кадры. Базовый пакет содержит обученный action-блок, общий video VAE и текстовый энкодер Qwen3-VL-4B-Instruct, но сам по себе не является готовой политикой под конкретную машину: для новой платформы нужны собственные action heads и адаптация. s1

Что можно запустить

  • DROID: в репозитории лежит готовая политика для конфигурации Franka с тремя камерами, BF16-чекпойнт и отдельные варианты guidance-/step-distillation и FP8r. Для первого знакомства можно получить прогноз на записанном наблюдении DROID без физического робота: официальный CLI сохраняет actions.npy формы (1, 32, 8) и отчёт, но не приводит робота в движение. Выбирайте варианты явно: корень репозитория и variants/* не тождественны. s2 s4
  • SO-101: отдельная политика с собственной схемой двух камер, нормализацией и сохранёнными процессорами. Её можно загрузить через интеграцию LeRobot; опубликован рецепт LoRA-адаптации под пользовательский датасет. Не подставляйте DROID-конфиг для SO-101. s3
  • База: подходит как отправная точка для полной адаптации под новый робот, симулятор или игру, но не заменяет готовые DROID/SO-101-политики. Общие энкодеры подгружаются из базового репозитория, на который ссылаются конфиги политик. s1 s4

Для самостоятельного inference официальный FLUX Action требует Linux и NVIDIA GPU; в руководстве указаны Python 3.12, PyTorch/CUDA и NATTEN. Авторы сообщают примерно о 32 ГБ GPU-памяти для BF16 на протестированном H200 и о варианте FP8 с выгрузкой текстового энкодера для карт на 24 ГБ. Это условия и оценки авторов для их окружения, а не установленный Modelium минимум и не универсальная гарантия совместимости. Код FLUX Action отдельно опубликован под Apache 2.0. s4 s2 s5

В карточке DROID команда сообщает 42,92% успешных задач на RoboLab-120: 120 настольных задач в Isaac Sim, по 10 попыток на задачу, конфигурация робота в стиле DROID/Franka. Это результат, приведённый авторами, а не независимый тест Modelium и не прогноз успеха на реальном роботе. s2

Лицензия и безопасность

Открытые веса не означают open source для всей модели или неограниченное коммерческое использование. Веса FLUX 3 Action распространяются под отдельной FLUX Kommunity License v1.0. Она разрешает некоммерческое использование, включая некоммерческие эксперименты с роботами; коммерческая выдача результатов и production-доступ предусмотрены лишь для «Qualifying User» с совокупной годовой выручкой вместе с аффилированными лицами менее $5 млн и при выполнении условий лицензии. Для иных коммерческих целей нужен отдельный договор. У текстового энкодера Qwen другая лицензия — Apache 2.0, как и у кода FLUX Action; это не переводит веса action-модели на Apache 2.0. Перед коммерческим внедрением, особенно управлением физическим оборудованием, изучите оригинальный текст ограничений. s5 s1

Модель выдаёт целевые положения суставов без встроенного ограничения скорости, силы и рабочей зоны. Для практических опытов авторы требуют внешние аппаратные ограничения и возможность аварийной остановки; сначала проверяйте результаты на записанных данных или в симуляторе, а не рядом с людьми. s2 s3

Источники