# GLM-5.3 MXFP4-MTP: опубликована квантизация с MTP для vLLM

Источник: https://modelium.tech/zhurnal/glm-5-3-mxfp4-mtp-vllm-local-inference/

28 сентября 2026 года независимый автор опубликовал MXFP4-квантизацию полной GLM-5.3 с отдельными MTP-весами. Пакет содержит 20 основных Safetensors-шардов и MTP-файл; это не GLM-5.3 Flash и не официальный релиз Z.AI. Автор проверил декодирование в vLLM 0.28.0 на четырёх B200, но не представил тест качества или прироста скорости. Для локального сервера нужен совместимый стек и большой объём ресурсов; размер файлов на диске не равен требованию к оперативной памяти.

GLM-5.3 MXFP4-MTP: квантизация с MTP для локального vLLM

**28 сентября 2026 года** в Hugging Face создан репозиторий `soyrsoyr/GLM-5.3-MXFP4-MTP`, а затем загружен пакет весов. Это независимая квантизация **полной GLM-5.3**, не GLM-5.3 Flash и не официальный выпуск Z.AI. Карточка закрепляет исходный чекпойнт ревизией `aca966e4e02791568aa6a4ced368624b3d897f42`. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

## Что находится в репозитории

В закреплённой ревизии есть все **20 основных Safetensors-шардов** и отдельный `model_mtp.safetensors`. Индекс весов перечисляет все 20 шардов и 1568 MTP-тензоров в отдельном файле; `config.json` указывает `glm_moe_dsa` и `mxfp4-pack-quantized`. Это проверка состава опубликованных артефактов, а не самостоятельная проверка качества их работы. По карточке автора файлы занимают около **376 GiB на диске**. Это размер скачивания/хранения, а **не минимальный объём RAM или VRAM**. [s1](#src-s1) [s4](#src-s4) [s5](#src-s5)

Квант использует MXFP4 для части весов и динамически квантизованных входных активаций с группой 32; голова модели, маршрутизаторы MoE и часть проекций MTP остаются в более высокой точности. Автор приложил рецепт и код конверсии на закреплённом коммите своего форка `llm-compressor`; это специальный путь подготовки, а не универсальная конвертация в GGUF для Ollama или llama.cpp. [s1](#src-s1) [s5](#src-s5) [s6](#src-s6)

## Что именно проверено — и чего нет

Автор сообщает о проверке экспорта и численной реконструкции MTP-матриц. Отдельный тест декодирования на **четырёх NVIDIA B200** с vLLM 0.28.0, восемью запросами, жадной генерацией, одним draft-токеном MTP за шаг и пределом 128 выходных токенов дал **474 принятых из 544 предложенных draft-токенов**. Но каждый вывод упёрся в предел и содержал текст рассуждения, несмотря на переданный в chat template `enable_thinking=False`. Это авторский smoke test принятия токенов, **не замер ускорения**, не оценка ответов и не независимый тест Modelium; время в JSON включает загрузку модели. [s1](#src-s1) [s7](#src-s7) [s8](#src-s8)

## Практический выбор для локального сервера

Если у команды есть мощный многокарточный сервер и уже используется vLLM, репозиторий даёт готовый кандидат для собственного сравнения MXFP4+MTP с исходной GLM-5.3 на ваших задачах. Автор приводит команду `vllm serve` для tensor parallel 4, длины контекста 4096 и `--speculative-config` с одним MTP-токеном; **проверен был Python **`**LLM**`** API с теми же настройками, а не HTTP-сервер по этой команде**. Начните с закреплённой карточки, сверьте отдельное окружение serving (vLLM 0.28.0, PyTorch 2.13.0, Transformers 5.16.1, compressed-tensors 0.17.0) и самостоятельно проверьте реальные ответы, задержку и память на своей машине. Четыре B200 — конфигурация *авторского теста*, а не заявленный нами аппаратный минимум. [s1](#src-s1) [s8](#src-s8)

Для обычного ПК или Mac этот выпуск не превращает полную GLM-5.3 в компактную настольную модель: только основные весовые файлы занимают сотни гигабайт. Не переносите авторскую проверку MTP на другие GPU, версии vLLM или качество длинных ответов без собственного теста. [s1](#src-s1) [s4](#src-s4)

## Лицензия

В репозитории производной модели лежит тот же текст **GLM-5.3 License**, что и у исходной GLM-5.3. Он разрешает использование, изменение и распространение весов при сохранении уведомления об авторских правах и условий. Отдельное требование: оператор Model-as-a-Service с совокупной выручкой аффилированных лиц **более $10 млрд за любые последовательные 12 месяцев** должен пройти проверку безопасности Z.AI *до коммерческого использования*. Поэтому «веса открыты», «можно скачать» и «коммерческое использование безусловно» — не одно и то же. Проверьте текст лицензии применительно к своему сервису; Modelium не даёт юридического заключения. [s9](#src-s9) [s10](#src-s10)

## Источники

1. [Карточка GLM-5.3 MXFP4-MTP, закреплённая ревизия](https://huggingface.co/soyrsoyr/GLM-5.3-MXFP4-MTP/blob/1f0bb47285e92e1d092a3c3327d3da97b40ffd6d/README.md) — получено 2026-09-28
2. [История коммитов пакета на Hugging Face](https://huggingface.co/api/models/soyrsoyr/GLM-5.3-MXFP4-MTP/commits/main) — получено 2026-09-28
3. [Официальная карточка исходной GLM-5.3](https://huggingface.co/zai-org/GLM-5.3/tree/aca966e4e02791568aa6a4ced368624b3d897f42) — получено 2026-09-28
4. [Дерево файлов MXFP4-MTP на фиксированной ревизии](https://huggingface.co/api/models/soyrsoyr/GLM-5.3-MXFP4-MTP/tree/1f0bb47285e92e1d092a3c3327d3da97b40ffd6d?recursive=true&expand=true) — получено 2026-09-28
5. [Конфигурация опубликованного чекпойнта](https://huggingface.co/soyrsoyr/GLM-5.3-MXFP4-MTP/blob/1f0bb47285e92e1d092a3c3327d3da97b40ffd6d/config.json) — получено 2026-09-28
6. [Рецепт квантизации](https://huggingface.co/soyrsoyr/GLM-5.3-MXFP4-MTP/blob/1f0bb47285e92e1d092a3c3327d3da97b40ffd6d/recipe.yaml) — получено 2026-09-28
7. [Отчёт автора о проверках экспорта](https://huggingface.co/soyrsoyr/GLM-5.3-MXFP4-MTP/blob/1f0bb47285e92e1d092a3c3327d3da97b40ffd6d/validation.json) — получено 2026-09-28
8. [Протокол авторского MTP smoke test](https://huggingface.co/soyrsoyr/GLM-5.3-MXFP4-MTP/blob/1f0bb47285e92e1d092a3c3327d3da97b40ffd6d/mtp-acceptance.json) — получено 2026-09-28
9. [Лицензия производного пакета](https://huggingface.co/soyrsoyr/GLM-5.3-MXFP4-MTP/blob/1f0bb47285e92e1d092a3c3327d3da97b40ffd6d/LICENSE) — получено 2026-09-28
10. [Лицензия исходной GLM-5.3 от Z.AI](https://huggingface.co/zai-org/GLM-5.3/blob/aca966e4e02791568aa6a4ced368624b3d897f42/LICENSE) — получено 2026-09-28