# GLM-5.3-Flash в GGUF: Q2_K и Q4_K для локального llama.cpp

Источник: https://modelium.tech/zhurnal/glm-5-3-flash-gguf-q2-q4-llama-cpp/

3 октября ggml-org выложила GGUF-конверсию GLM-5.3-Flash: по два шарда Q2_K и Q4_K, отдельный проектор для изображений и MTP-файлы. Это новый способ использовать уже выпущенную модель в экосистеме llama.cpp, а не новая базовая модель. Полноту файлов, происхождение и лицензию исходных весов можно проверить; скорость и качество этих квантов независимо не измерены.

3 октября 2026 года организация ggml-org загрузила GGUF-конверсию **GLM-5.3-Flash**. Репозиторий создан в 16:24 UTC, а весовые файлы видны в коммите 16:29 UTC. Это упаковка существующей модели Z.ai для локального стека, а не анонс новой архитектуры или обучение новой модели. [s1](#src-s1) [s2](#src-s2)

## Что именно доступно

- **Q2_K и Q4_K:** у каждого варианта два GGUF-шарда. Небольшой первый шард — примерно 9,4 МБ; основные данные лежат во втором. Оба шарда одного варианта должны быть доступны вместе. Дерево закреплённой ревизии перечисляет четыре файла, а также индексируемые дополнительные артефакты. [s1](#src-s1)

- **Изображения:** отдельный `mmproj-GLM-5.3-Flash-Q8_0.gguf` относится к vision-проектору; одного текстового GGUF недостаточно, чтобы считать всю мультимодальную цепочку проверенной на конкретной сборке. [s1](#src-s1) [s3](#src-s3)

- **MTP:** два отдельных sidecar-файла Q4_0 и Q8_0 предназначены для сценариев speculative decoding. Они не входят в пару основных шардов и не требуются для обычного текстового выбора между Q2_K и Q4_K; польза от MTP зависит от версии и настройки runtime. [s1](#src-s1) [s2](#src-s2)

В описании конверсии авторы уточняют, что у Q2_K down-проекции routed experts сохранены в Q4_K, а gate/up — в Q2_K; небольшие неэкспертные тензоры оставлены в Q8_0. Для этих низкобитных вариантов не использовали imatrix-калибровку. Следовательно, обозначение Q2_K не означает одинаковую двухбитную точность каждого тензора; показатели качества нельзя переносить с исходного BF16. [s2](#src-s2)

## Практическое решение

Если уже используется llama.app, карточка ggml-org предлагает `llama serve -hf ggml-org/GLM-5.3-Flash-GGUF`. Это команда авторского стека, а не подтверждённый Modelium рецепт для любой установленной версии `llama-server`. Перед запуском проверьте, какую квантизацию выбирает загрузчик, поддерживает ли ваша сборка архитектуру GLM-5.3-Flash, и доступны ли оба шарда нужного варианта. Для изображений дополнительно проверьте подключение projector; MTP оставьте отдельным экспериментом. [s2](#src-s2)

Оригинальная модель заявлена авторами как 320B MoE с 18B активных параметров. Это описание архитектуры, **не** минимум памяти для этой GGUF-конверсии. HF-манифест показывает размеры файлов, но по ним нельзя вычислять RAM/VRAM для конкретной системы, контекста и offload. Независимых end-to-end замеров скорости или качества этих Q2_K/Q4_K мы не проводили; сравнение с BF16 и другими квантами потребуется отдельно. [s1](#src-s1) [s3](#src-s3)

## Права и происхождение

Файл `.src_sha` в конверсии указывает на точную ревизию `a5b45eb41df6402735dedc900be14a42e8d5e538` официальных весов `zai-org/GLM-5.3-Flash-BF16`. Исходный репозиторий содержит текст MIT: он разрешает использование, в том числе коммерческое и распространение, при сохранении уведомления об авторстве и лицензии. При этом карточка самой GGUF-конверсии помечена `license: other` и отдельного `LICENSE` в её дереве нет; не следует выдавать эту метку за самостоятельное юридическое заключение о правах на все артефакты. [s1](#src-s1) [s3](#src-s3) [s4](#src-s4)

Для сравнения с другим локальным форматом у Modelium есть разбор [GLM-5.3-Flash MXFP4/MTP для vLLM](https://modelium.tech/zhurnal/glm-5-3-mxfp4-mtp-vllm-local-inference/). Выбор между ними определяется runtime и задачей, а не размером архива без теста на своём оборудовании.

## Источники

1. [ggml-org/GLM-5.3-Flash-GGUF: закреплённое дерево файлов](https://huggingface.co/api/models/ggml-org/GLM-5.3-Flash-GGUF/tree/14b83f6336796fce6b282f1b5564fae290adb177?recursive=true&limit=100) — получено 2026-10-03
2. [ggml-org: карточка GLM-5.3-Flash-GGUF и история коммитов](https://huggingface.co/ggml-org/GLM-5.3-Flash-GGUF/tree/14b83f6336796fce6b282f1b5564fae290adb177) — получено 2026-10-03
3. [Z.ai: оригинальная карточка GLM-5.3-Flash-BF16](https://huggingface.co/zai-org/GLM-5.3-Flash-BF16/tree/a5b45eb41df6402735dedc900be14a42e8d5e538) — получено 2026-10-03
4. [Z.ai: исходная лицензия MIT](https://huggingface.co/zai-org/GLM-5.3-Flash-BF16/blob/a5b45eb41df6402735dedc900be14a42e8d5e538/LICENSE) — получено 2026-10-03