# MoESQ открыл код для Qwen3.8-Flash-Next: разрежённые NVFP4-веса и патч vLLM

Источник: https://modelium.tech/zhurnal/qwen38-flash-next-moesq-p48nvfp4-blackwell/

5 октября 2026 года команда IST-DASLab открыла код MoESQ и патч к vLLM 0.30.0 для ранее загруженной квантизации Qwen3.8-Flash-Next-P48NVFP4-MoESQ. Все 49 шардов доступны, но штатный vLLM модель не загружает: требуются патч, собранные CUDA-ядра и поддерживаемая архитектура NVIDIA Blackwell. Код распространяется по Apache-2.0, производные веса — по Qwen Community License 1.0 с отдельными коммерческими условиями.

MoESQ: как теперь запускать разрежённую Qwen3.8-Flash-Next на Blackwell

**Коротко.** 5 октября 2026 года IST-DASLab открыла код MoESQ: исходный коммит датирован 02:20 UTC, репозиторий создан в 02:21 UTC. Чекпойнт Qwen3.8-Flash-Next-P48NVFP4-MoESQ был размещён на Hugging Face ещё 2 октября; сегодняшнее событие — появление исходников и совместимого патча к vLLM, а не выпуск новой базовой Qwen. Раньше карточка ссылалась на недоступный проект; теперь можно изучить установщик, ядра и ограничения. [s1](#src-s1) [s2](#src-s2)

## Что действительно доступно

В закреплённой ревизии модели присутствуют 49 файлов `.safetensors`, а весовой индекс ссылается ровно на эти 49 файлов. Его `total_size` — 159 932 252 152 байта, приблизительно 148,9 GiB весовых данных. Это **объём чекпойнта, а не минимальная RAM или VRAM**. Карточка описывает разрежённые routed-experts: paired 4:8 плюс NVFP4 W4A4, при этом attention, общие эксперты и n-gram таблицы не переводятся целиком в этот формат. Конфигурация маркирует хранение `paired48_sparse` и `compressed-tensors`. [s1](#src-s1) [s3](#src-s3)

Открытый репозиторий содержит код сжатия, отдельный установщик интеграции vLLM и git-submodule CUDA-ядер. Патч рассчитан на **vLLM v0.30.0**; установщик сверяет коммиты vLLM и ядра, создаёт отдельное окружение, применяет патч и собирает ядра. Обычный upstream vLLM этих весов не поддерживает. Код MoESQ помечен Apache-2.0, но это **не лицензия весов**. [s2](#src-s2) [s4](#src-s4)

## Кому подходит и с чего начать

Поддерживаемый авторами путь обслуживания — NVIDIA Blackwell SM100 или SM120 с CUDA toolkit не ниже 12.8, `uv`, клонированием с submodule и запуском `integrations/vllm/install.sh`. SM103 и SM121 прямо названы неподдерживаемыми. В карточке дан пример TP2 + expert parallel на двух B200; **это проверенная авторами схема, не доказанный минимум устройств**. Не переносите рецепт на DGX Spark, Hopper, Apple Silicon или стандартную установку vLLM. Перед скачиванием тяжёлого чекпойнта проверьте compute capability GPU, совпадение CUDA toolkit и сборки PyTorch, наличие CUDA-компилятора, совместимость инструкции установщика с вашей средой и доступность свободного диска. Modelium не запускал модель и установщик. [s1](#src-s1) [s4](#src-s4)

Если есть подходящий Blackwell, изучите закреплённые инструкции `install.sh` и `integrations/vllm/README.md`, затем собирайте окружение в отдельной машине или venv. Для этой модели авторы указывают chat endpoint: простые few-shot completions в их проверке завершались сразу и для BF16-базы. Параметры генерации зависят от задачи: `presence_penalty=1.5` они рекомендуют для длинного одиночного рассуждения, но **не** для agentic tool calling, где их собственная проверка обнаружила ухудшение вызовов инструментов. Не считайте команды из карточки доказанно воспроизведёнными на другой конфигурации. [s1](#src-s1) [s4](#src-s4)

## Что говорят измерения и чего они не доказывают

По отчёту авторов, средний результат шести задач OpenLLM v1 — 79,03 против 82,09 у BF16-оригинала; применялись разные схемы TP2 + EP и TP4, три few-shot seed, а GSM8K шёл через chat template, в отличие от остальных задач через completions. На LiveCodeBench v6 авторы получили 53,54 против 57,03 при бюджете 131 072 новых токенов и 175 задачах; для сжатой версии использовали `presence_penalty=1.5`, для BF16 — 0. На SWE-bench Verified они сообщают 67,0 против 79,8 на 500 заданиях; отдельная строка по 484 задачам с проходящим эталонным патчем даёт **другой знаменатель**, и смешивать эти цифры нельзя. Это авторские, не независимые замеры; сравнение не доказывает одинаковую скорость или качество в вашей среде. [s1](#src-s1)

## Лицензии и решение

Весам, как производным от Qwen/Qwen3.8-Flash-Next, назначена **Qwen Community License 1.0**, а не Apache-2.0 кода. Текст лицензии допускает многие коммерческие сценарии, но вводит условие отображения названия при пороговых масштабах продукта и требует отдельного соглашения для коммерческого Model-as-a-Service либо AI Work Assistant; оговорено исключение для внутреннего использования без предоставления возможностей третьим лицам. До коммерческого внедрения изучите точный текст условий и свой сценарий. [s1](#src-s1) [s5](#src-s5)

**Вывод:** событие полезно тем, у кого уже есть подходящая Blackwell-система и кому нужен изучаемый, локально развёртываемый стек для этого формата. Для обычной рабочей станции без SM100/SM120 или для штатного vLLM практичнее искать иной чекпойнт: опубликование кода само по себе не означает универсальной поддержки и не заменяет собственной проверки качества. [s2](#src-s2) [s4](#src-s4)

## Источники

1. [ISTA-DASLab: Qwen3.8-Flash-Next-P48NVFP4-MoESQ, закреплённая карточка](https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-P48NVFP4-MoESQ/blob/3771abb1635c9c440f3e90ddace863c658afadda/README.md) — получено 2026-10-05
2. [IST-DASLab: MoESQ, исходный публичный коммит от 5 октября](https://github.com/IST-DASLab/MoESQ/commit/ff09522429782e7c12c90f4ede55c852381d3ac4) — получено 2026-10-05
3. [Весовой индекс и конфигурация MoESQ Qwen3.8-Flash-Next](https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-P48NVFP4-MoESQ/blob/3771abb1635c9c440f3e90ddace863c658afadda/model.safetensors.index.json) — получено 2026-10-05
4. [Установка и ограничения патча MoESQ для vLLM](https://github.com/IST-DASLab/MoESQ/blob/ff09522429782e7c12c90f4ede55c852381d3ac4/integrations/vllm/README.md) — получено 2026-10-05
5. [Qwen Community License 1.0, исходная модель](https://huggingface.co/Qwen/Qwen3.8-Flash-Next/blob/de4b8e4d43b917e7706784d8bb445c9af86a3540/LICENSE) — получено 2026-10-05