MoESQ открыл код для Qwen3.8-Flash-Next: разрежённые NVFP4-веса и патч vLLM

Что действительно доступно

В закреплённой ревизии модели присутствуют 49 файлов .safetensors, а весовой индекс ссылается ровно на эти 49 файлов. Его total_size — 159 932 252 152 байта, приблизительно 148,9 GiB весовых данных. Это объём чекпойнта, а не минимальная RAM или VRAM. Карточка описывает разрежённые routed-experts: paired 4:8 плюс NVFP4 W4A4, при этом attention, общие эксперты и n-gram таблицы не переводятся целиком в этот формат. Конфигурация маркирует хранение paired48_sparse и compressed-tensors. s1 s3

Открытый репозиторий содержит код сжатия, отдельный установщик интеграции vLLM и git-submodule CUDA-ядер. Патч рассчитан на vLLM v0.30.0; установщик сверяет коммиты vLLM и ядра, создаёт отдельное окружение, применяет патч и собирает ядра. Обычный upstream vLLM этих весов не поддерживает. Код MoESQ помечен Apache-2.0, но это не лицензия весов. s2 s4

Кому подходит и с чего начать

Поддерживаемый авторами путь обслуживания — NVIDIA Blackwell SM100 или SM120 с CUDA toolkit не ниже 12.8, uv, клонированием с submodule и запуском integrations/vllm/install.sh. SM103 и SM121 прямо названы неподдерживаемыми. В карточке дан пример TP2 + expert parallel на двух B200; это проверенная авторами схема, не доказанный минимум устройств. Не переносите рецепт на DGX Spark, Hopper, Apple Silicon или стандартную установку vLLM. Перед скачиванием тяжёлого чекпойнта проверьте compute capability GPU, совпадение CUDA toolkit и сборки PyTorch, наличие CUDA-компилятора, совместимость инструкции установщика с вашей средой и доступность свободного диска. Modelium не запускал модель и установщик. s1 s4

Если есть подходящий Blackwell, изучите закреплённые инструкции install.sh и integrations/vllm/README.md, затем собирайте окружение в отдельной машине или venv. Для этой модели авторы указывают chat endpoint: простые few-shot completions в их проверке завершались сразу и для BF16-базы. Параметры генерации зависят от задачи: presence_penalty=1.5 они рекомендуют для длинного одиночного рассуждения, но не для agentic tool calling, где их собственная проверка обнаружила ухудшение вызовов инструментов. Не считайте команды из карточки доказанно воспроизведёнными на другой конфигурации. s1 s4

Что говорят измерения и чего они не доказывают

По отчёту авторов, средний результат шести задач OpenLLM v1 — 79,03 против 82,09 у BF16-оригинала; применялись разные схемы TP2 + EP и TP4, три few-shot seed, а GSM8K шёл через chat template, в отличие от остальных задач через completions. На LiveCodeBench v6 авторы получили 53,54 против 57,03 при бюджете 131 072 новых токенов и 175 задачах; для сжатой версии использовали presence_penalty=1.5, для BF16 — 0. На SWE-bench Verified они сообщают 67,0 против 79,8 на 500 заданиях; отдельная строка по 484 задачам с проходящим эталонным патчем даёт другой знаменатель, и смешивать эти цифры нельзя. Это авторские, не независимые замеры; сравнение не доказывает одинаковую скорость или качество в вашей среде. s1

Лицензии и решение

Весам, как производным от Qwen/Qwen3.8-Flash-Next, назначена Qwen Community License 1.0, а не Apache-2.0 кода. Текст лицензии допускает многие коммерческие сценарии, но вводит условие отображения названия при пороговых масштабах продукта и требует отдельного соглашения для коммерческого Model-as-a-Service либо AI Work Assistant; оговорено исключение для внутреннего использования без предоставления возможностей третьим лицам. До коммерческого внедрения изучите точный текст условий и свой сценарий. s1 s5

Вывод: событие полезно тем, у кого уже есть подходящая Blackwell-система и кому нужен изучаемый, локально развёртываемый стек для этого формата. Для обычной рабочей станции без SM100/SM120 или для штатного vLLM практичнее искать иной чекпойнт: опубликование кода само по себе не означает универсальной поддержки и не заменяет собственной проверки качества. s2 s4