# Qwen3.8-Flash-Next: Intel выпустила MXFP4-квантизацию с BF16 shared experts

Источник: https://modelium.tech/zhurnal/qwen38-flash-next-intel-mxfp4-bf16-shared/

4 октября 2026 года Intel загрузила 131 шард новой квантизации Qwen3.8-Flash-Next: routed-experts в MXFP4, часть линейных слоёв в MXFP8, shared experts и ряд других компонентов в BF16. Это специализированный пакет для vLLM на проверенном автором Blackwell, а не GGUF для обычного ноутбука. Индекс весов содержит некорректное поле total_size=0; наличие файлов подтверждено, но запуск Modelium не проверял.

## Что появилось

4 октября 2026 года Intel опубликовала отдельный чекпойнт `Qwen3.8-Flash-Next-MXFP4-BF16SharedExperts-CT-AutoRound`. Это **квантизация существующей Qwen3.8-Flash-Next**, а не новое базовое семейство и не маленькая модель для обычного ноутбука. История репозитория фиксирует первоначальный коммит в 23:24 UTC и загрузку пакета в 23:28 UTC. Закреплённая ревизия `a0ed54ef` содержит все 131 весовой файл Safetensors, а индекс перечисляет 150 708 тензоров, распределённых между ними. Размер опубликованных весовых файлов по HF API — 180 011 864 360 байт; это объём файлов, **не минимальная RAM или VRAM**. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

## Что в действительности квантовано

По карточке Intel, routed-experts в 48 слоях переведены в MXFP4, ряд линейных слоёв внимания — в MXFP8, а shared experts, индексатор разреженного внимания, часть маршрутизации, PLE-таблица и MTP оставлены в BF16. В `config.json` действительно указан `compressed-tensors` с двумя группами `mxfp4-pack-quantized` и `mxfp8-quantized`; таблица PLE остаётся заметной частью размера артефакта. FP8 в названии формата *не означает*, что в данном чекпойнте квантован KV-кеш: схема `kv_cache_scheme` в опубликованной конфигурации не задана. Переключение типа KV-кеша, упоминаемое автором, относится к отдельной возможности runtime. [s1](#src-s1) [s4](#src-s4)

Практический смысл такого сочетания — проверить MXFP4-экспертов на поддерживаемом Blackwell, сохранив выбранные чувствительные компоненты без квантования. Это специализированный пакет для крупной локальной или собственной серверной установки, не GGUF для Ollama и не MLX-конверсия для Mac. Intel указывает vLLM и проверенный ею nightly `0.29.1rc1.dev528`, TP=1 и Blackwell SM100+; запуск на других конфигурациях мы не подтверждали. Утверждение карточки о 275-ГБ B300 с выгрузкой PLE — **авторский сценарий проверки, не минимальное требование к оборудованию**. Автор предупреждает о некорректных ответах при TP>1 из-за scale-padding на его пути MXFP4; не распространяйте результаты TP=1 на многокарточный режим без собственного теста. [s1](#src-s1) [s5](#src-s5)

## Что подтверждено, а что нет

В карточке приведены результаты **авторского**, не независимого теста: `lm-eval 0.4.13`, указанный nightly vLLM, TP=1, контекст 8192, BF16 KV-кеш, seed 42, `language_model_only=true`, `enable_thinking=false`. Для GSM8K автор использовал шаблон чата и few-shot multiturn; для PIQA, MMLU и HellaSwag — отдельный вызов без этого режима. Числа в карточке не являются измерениями Modelium; отдельно не проверены vision-часть, длинный контекст, MTP и работа на штатном стабильном vLLM. [s1](#src-s1)

Есть важное расхождение в опубликованных артефактах: `model.safetensors.index.json` перечисляет все 131 шарда, но поле `metadata.total_size` равно **0**, хотя HF API показывает реальные файлы весов. Мы сверили состав файлов и индекс, однако не запускали загрузчик и не можем утверждать, что индекс в этом виде принимается каждым клиентом. Поэтому не копируем авторский запуск как заведомо рабочую команду. Перед переносом в свой стек проверьте неизменную ревизию, поддерживаемый формат `compressed-tensors`, загрузку индекса и ответы на своём железе; при ошибке загрузчика обратитесь к автору репозитория, а не меняйте индекс вслепую. [s2](#src-s2) [s3](#src-s3) [s4](#src-s4)

## Условия использования

Весовые файлы доступны без gated-доступа, но лицензия **Qwen Community License 1.0**, а не Apache-2.0. Файл LICENSE в конверсии байтово совпадает с лицензией исходной Qwen. Она разрешает многие виды использования, однако коммерческим провайдерам Model-as-a-Service и AI Work Assistant нужен отдельный договор с Qwen; также действуют условия указания имени модели для продуктов выше определённых порогов аудитории или выручки. Открытый доступ к весам не означает безусловного разрешения для каждого коммерческого сервиса. Проверьте применимость лицензионных условий к вашему продукту до развёртывания. [s6](#src-s6) [s7](#src-s7)

**Итог для выбора стека:** если у вас нет поддерживаемого Blackwell и готовности проверять nightly vLLM, этот чекпойнт пока не является практической «облегчённой» заменой исходной модели. Если такая инфраструктура есть, тестируйте его как специализированную MXFP4/MXFP8-конверсию, фиксируя SHA весов, точную версию runtime и результаты собственных задач. [s1](#src-s1) [s4](#src-s4)

## Источники

1. [Intel: карточка MXFP4-BF16SharedExperts на закреплённой ревизии](https://huggingface.co/intel-ai/Qwen3.8-Flash-Next-MXFP4-BF16SharedExperts-CT-AutoRound/blob/a0ed54ef4582de8627e2aa900f03348bf657d75c/README.md) — получено 2026-10-04
2. [HF API: полный манифест файлов и размеры на SHA a0ed54ef](https://huggingface.co/api/models/intel-ai/Qwen3.8-Flash-Next-MXFP4-BF16SharedExperts-CT-AutoRound/revision/a0ed54ef4582de8627e2aa900f03348bf657d75c?blobs=true) — получено 2026-10-04
3. [Intel: индекс весов в закреплённой ревизии](https://huggingface.co/intel-ai/Qwen3.8-Flash-Next-MXFP4-BF16SharedExperts-CT-AutoRound/blob/a0ed54ef4582de8627e2aa900f03348bf657d75c/model.safetensors.index.json) — получено 2026-10-04
4. [Intel: config.json и конфигурация mixed-precision](https://huggingface.co/intel-ai/Qwen3.8-Flash-Next-MXFP4-BF16SharedExperts-CT-AutoRound/blob/a0ed54ef4582de8627e2aa900f03348bf657d75c/config.json) — получено 2026-10-04
5. [vLLM 0.29.0: релиз и поддержка Qwen3.8-Flash-Next](https://github.com/vllm-project/vllm/releases/tag/v0.29.0) — получено 2026-10-04
6. [Intel: текст Qwen Community License 1.0 для конверсии](https://huggingface.co/intel-ai/Qwen3.8-Flash-Next-MXFP4-BF16SharedExperts-CT-AutoRound/blob/a0ed54ef4582de8627e2aa900f03348bf657d75c/LICENSE) — получено 2026-10-04
7. [Qwen: исходная Qwen3.8-Flash-Next и лицензия](https://huggingface.co/Qwen/Qwen3.8-Flash-Next/blob/de4b8e4d43b917e7706784d8bb445c9af86a3540/LICENSE) — получено 2026-10-04