Qwen3.8-Flash-Next: Intel выпустила MXFP4-квантизацию с BF16 shared experts

Что появилось

4 октября 2026 года Intel опубликовала отдельный чекпойнт Qwen3.8-Flash-Next-MXFP4-BF16SharedExperts-CT-AutoRound. Это квантизация существующей Qwen3.8-Flash-Next, а не новое базовое семейство и не маленькая модель для обычного ноутбука. История репозитория фиксирует первоначальный коммит в 23:24 UTC и загрузку пакета в 23:28 UTC. Закреплённая ревизия a0ed54ef содержит все 131 весовой файл Safetensors, а индекс перечисляет 150 708 тензоров, распределённых между ними. Размер опубликованных весовых файлов по HF API — 180 011 864 360 байт; это объём файлов, не минимальная RAM или VRAM. s1 s2 s3

Что в действительности квантовано

По карточке Intel, routed-experts в 48 слоях переведены в MXFP4, ряд линейных слоёв внимания — в MXFP8, а shared experts, индексатор разреженного внимания, часть маршрутизации, PLE-таблица и MTP оставлены в BF16. В config.json действительно указан compressed-tensors с двумя группами mxfp4-pack-quantized и mxfp8-quantized; таблица PLE остаётся заметной частью размера артефакта. FP8 в названии формата не означает, что в данном чекпойнте квантован KV-кеш: схема kv_cache_scheme в опубликованной конфигурации не задана. Переключение типа KV-кеша, упоминаемое автором, относится к отдельной возможности runtime. s1 s4

Практический смысл такого сочетания — проверить MXFP4-экспертов на поддерживаемом Blackwell, сохранив выбранные чувствительные компоненты без квантования. Это специализированный пакет для крупной локальной или собственной серверной установки, не GGUF для Ollama и не MLX-конверсия для Mac. Intel указывает vLLM и проверенный ею nightly 0.29.1rc1.dev528, TP=1 и Blackwell SM100+; запуск на других конфигурациях мы не подтверждали. Утверждение карточки о 275-ГБ B300 с выгрузкой PLE — авторский сценарий проверки, не минимальное требование к оборудованию. Автор предупреждает о некорректных ответах при TP>1 из-за scale-padding на его пути MXFP4; не распространяйте результаты TP=1 на многокарточный режим без собственного теста. s1 s5

Что подтверждено, а что нет

В карточке приведены результаты авторского, не независимого теста: lm-eval 0.4.13, указанный nightly vLLM, TP=1, контекст 8192, BF16 KV-кеш, seed 42, language_model_only=true, enable_thinking=false. Для GSM8K автор использовал шаблон чата и few-shot multiturn; для PIQA, MMLU и HellaSwag — отдельный вызов без этого режима. Числа в карточке не являются измерениями Modelium; отдельно не проверены vision-часть, длинный контекст, MTP и работа на штатном стабильном vLLM. s1

Есть важное расхождение в опубликованных артефактах: model.safetensors.index.json перечисляет все 131 шарда, но поле metadata.total_size равно 0, хотя HF API показывает реальные файлы весов. Мы сверили состав файлов и индекс, однако не запускали загрузчик и не можем утверждать, что индекс в этом виде принимается каждым клиентом. Поэтому не копируем авторский запуск как заведомо рабочую команду. Перед переносом в свой стек проверьте неизменную ревизию, поддерживаемый формат compressed-tensors, загрузку индекса и ответы на своём железе; при ошибке загрузчика обратитесь к автору репозитория, а не меняйте индекс вслепую. s2 s3 s4

Условия использования

Весовые файлы доступны без gated-доступа, но лицензия Qwen Community License 1.0, а не Apache-2.0. Файл LICENSE в конверсии байтово совпадает с лицензией исходной Qwen. Она разрешает многие виды использования, однако коммерческим провайдерам Model-as-a-Service и AI Work Assistant нужен отдельный договор с Qwen; также действуют условия указания имени модели для продуктов выше определённых порогов аудитории или выручки. Открытый доступ к весам не означает безусловного разрешения для каждого коммерческого сервиса. Проверьте применимость лицензионных условий к вашему продукту до развёртывания. s6 s7

Итог для выбора стека: если у вас нет поддерживаемого Blackwell и готовности проверять nightly vLLM, этот чекпойнт пока не является практической «облегчённой» заменой исходной модели. Если такая инфраструктура есть, тестируйте его как специализированную MXFP4/MXFP8-конверсию, фиксируя SHA весов, точную версию runtime и результаты собственных задач. s1 s4