Decision 1.0 Lux-9B и Nox-4B: открытые модели решений для локального ROCm

Веса и лицензия

В закреплённой ревизии Lux-9B находятся четыре шарда BF16-бэкбона и отдельная FP32-голова решений. Суммарный размер файлов Safetensors — 15 890 261 552 байта. У Nox-4B опубликованы три шарда бэкбона и отдельная голова общим объёмом 8 422 078 976 байт. В обоих репозиториях также есть исходный код Python-пакета, Dockerfile.runtime, lock-файл для FLA и полный текст Apache License 2.0. s2 s5

Размер файлов показывает объём скачиваемых артефактов, но не является минимальным требованием к RAM или VRAM. Фактическое потребление зависит от runtime, промежуточных тензоров, длины входа и пакетной обработки. Для полного состояния, вопроса и вариантов установлен лимит 16 384 токена. s1 s4

Apache-2.0 разрешает использование, модификацию и распространение, включая коммерческие сценарии, при соблюдении условий лицензии и сохранении уведомлений. Это позволяет называть опубликованные веса и сопутствующий код открытыми, но не отменяет необходимость проверить лицензии собственных данных и приложения.

Как устроен локальный запуск

Авторы дают воспроизводимый Docker-рецепт для Linux с AMD ROCm. Он закрепляет базовый образ по digest, добавляет проверенные по хешам колёса Flash Linear Attention и монтирует веса локально. Хотя базовый образ взят из vllm-openai-rocm, inference Decision-моделей выполняется собственным Python-движком, а не сервером vLLM. s3 s6

Для Lux-9B опубликована такая схема запуска из каталога скачанной модели:

docker build -f Dockerfile.runtime -t decision-lux-runtime .
mkdir -p runtime-output
docker run --rm \
--device=/dev/kfd --device=/dev/dri --group-add video --ipc=host \
-e HIP_VISIBLE_DEVICES=0 \
-e PYTHONPATH=/opt/decision-fla:/model/src \
-v "$PWD":/model:ro -v "$PWD/runtime-output":/output \
decision-lux-runtime \
python -m decision.example /model --local-files-only \
--output /output/example.json

Квалифицированная конфигурация — AMD gfx942, PyTorch 2.12 development build, ROCm/HIP 7.2, Transformers 5.17 и FLA 0.5.2. Авторы отдельно предупреждают, что CPU и MPS не поддерживаются, а NVIDIA для этого выпуска не проверялась. Другой ускоритель или набор библиотек требует отдельной проверки: изменения ядер могут сдвигать вероятности около границы решения. s3 s6

Что говорят бенчмарки

По данным авторов, Lux-9B получила 76,94%, а Nox-4B — 73,09% взвешенной точности на 3 766 решениях в 54 задачах. Сравнение охватывает выбор решений, композицию, чтение, inference и перенос; все модели получали одинаковые примеры, порядок кандидатов и правила подсчёта. s1 s4

Эти цифры нельзя считать независимой проверкой. Авторы прямо указывают, что веса панелей выбраны после наблюдения результатов, а сами данные служат регрессионными тестами, а не новым слепым тестом. Бенчмарк также не доказывает превосходство в поиске актуальных фактов, универсальном reasoning или скорости на другом железе. Modelium эти модели не тестировал. s7

Кому это полезно

Lux-9B и Nox-4B интересны тем, кто строит локальных агентов и хочет отделить принятие структурированного решения от генерации текста. Они могут использоваться для маршрутизации запросов, выбора инструментов, проверки политик и скоринга по заданной шкале. Lux-9B предлагает более высокий авторский итоговый результат, а Nox-4B — меньший набор весов; выбор между ними стоит делать после проверки на собственных данных и целевом AMD-окружении.

Главное ограничение текущего выпуска — узкая подтверждённая аппаратная база. Наличие открытых весов ещё не означает готовый универсальный запуск на CUDA, Apple Silicon или CPU: для этих платформ авторы не заявляют квалифицированной конфигурации.