GLM-5.3 MXFP4-MTP: опубликована квантизация с MTP для vLLM

Что находится в репозитории

В закреплённой ревизии есть все 20 основных Safetensors-шардов и отдельный model_mtp.safetensors. Индекс весов перечисляет все 20 шардов и 1568 MTP-тензоров в отдельном файле; config.json указывает glm_moe_dsa и mxfp4-pack-quantized. Это проверка состава опубликованных артефактов, а не самостоятельная проверка качества их работы. По карточке автора файлы занимают около 376 GiB на диске. Это размер скачивания/хранения, а не минимальный объём RAM или VRAM. s1 s4 s5

Квант использует MXFP4 для части весов и динамически квантизованных входных активаций с группой 32; голова модели, маршрутизаторы MoE и часть проекций MTP остаются в более высокой точности. Автор приложил рецепт и код конверсии на закреплённом коммите своего форка llm-compressor; это специальный путь подготовки, а не универсальная конвертация в GGUF для Ollama или llama.cpp. s1 s5 s6

Что именно проверено — и чего нет

Автор сообщает о проверке экспорта и численной реконструкции MTP-матриц. Отдельный тест декодирования на четырёх NVIDIA B200 с vLLM 0.28.0, восемью запросами, жадной генерацией, одним draft-токеном MTP за шаг и пределом 128 выходных токенов дал 474 принятых из 544 предложенных draft-токенов. Но каждый вывод упёрся в предел и содержал текст рассуждения, несмотря на переданный в chat template enable_thinking=False. Это авторский smoke test принятия токенов, не замер ускорения, не оценка ответов и не независимый тест Modelium; время в JSON включает загрузку модели. s1 s7 s8

Практический выбор для локального сервера

Если у команды есть мощный многокарточный сервер и уже используется vLLM, репозиторий даёт готовый кандидат для собственного сравнения MXFP4+MTP с исходной GLM-5.3 на ваших задачах. Автор приводит команду vllm serve для tensor parallel 4, длины контекста 4096 и --speculative-config с одним MTP-токеном; проверен был Python LLM API с теми же настройками, а не HTTP-сервер по этой команде. Начните с закреплённой карточки, сверьте отдельное окружение serving (vLLM 0.28.0, PyTorch 2.13.0, Transformers 5.16.1, compressed-tensors 0.17.0) и самостоятельно проверьте реальные ответы, задержку и память на своей машине. Четыре B200 — конфигурация авторского теста, а не заявленный нами аппаратный минимум. s1 s8

Для обычного ПК или Mac этот выпуск не превращает полную GLM-5.3 в компактную настольную модель: только основные весовые файлы занимают сотни гигабайт. Не переносите авторскую проверку MTP на другие GPU, версии vLLM или качество длинных ответов без собственного теста. s1 s4

Лицензия

В репозитории производной модели лежит тот же текст GLM-5.3 License, что и у исходной GLM-5.3. Он разрешает использование, изменение и распространение весов при сохранении уведомления об авторских правах и условий. Отдельное требование: оператор Model-as-a-Service с совокупной выручкой аффилированных лиц более $10 млрд за любые последовательные 12 месяцев должен пройти проверку безопасности Z.AI до коммерческого использования. Поэтому «веса открыты», «можно скачать» и «коммерческое использование безусловно» — не одно и то же. Проверьте текст лицензии применительно к своему сервису; Modelium не даёт юридического заключения. s9 s10