Перейти к содержанию
modelium.
Начать с задачи
←
Новость

GLM-5.3-Flash в GGUF: Q2_K и Q4_K для локального llama.cpp

На странице · 3 разделов

3 октября ggml-org выложила GGUF-конверсию GLM-5.3-Flash: по два шарда Q2_K и Q4_K, отдельный проектор для изображений и MTP-файлы. Это новый способ использовать уже выпущенную модель в экосистеме llama.cpp, а не новая базовая модель. Полноту файлов, происхождение и лицензию исходных весов можно проверить; скорость и качество этих квантов независимо не измерены.

3 октября 2026 года организация ggml-org загрузила GGUF-конверсию GLM-5.3-Flash. Репозиторий создан в 16:24 UTC, а весовые файлы видны в коммите 16:29 UTC. Это упаковка существующей модели Z.ai для локального стека, а не анонс новой архитектуры или обучение новой модели. s1 s2

Что именно доступно

  • Q2_K и Q4_K: у каждого варианта два GGUF-шарда. Небольшой первый шард — примерно 9,4 МБ; основные данные лежат во втором. Оба шарда одного варианта должны быть доступны вместе. Дерево закреплённой ревизии перечисляет четыре файла, а также индексируемые дополнительные артефакты. s1
  • Изображения: отдельный mmproj-GLM-5.3-Flash-Q8_0.gguf относится к vision-проектору; одного текстового GGUF недостаточно, чтобы считать всю мультимодальную цепочку проверенной на конкретной сборке. s1 s3
  • MTP: два отдельных sidecar-файла Q4_0 и Q8_0 предназначены для сценариев speculative decoding. Они не входят в пару основных шардов и не требуются для обычного текстового выбора между Q2_K и Q4_K; польза от MTP зависит от версии и настройки runtime. s1 s2

В описании конверсии авторы уточняют, что у Q2_K down-проекции routed experts сохранены в Q4_K, а gate/up — в Q2_K; небольшие неэкспертные тензоры оставлены в Q8_0. Для этих низкобитных вариантов не использовали imatrix-калибровку. Следовательно, обозначение Q2_K не означает одинаковую двухбитную точность каждого тензора; показатели качества нельзя переносить с исходного BF16. s2

Практическое решение

Если уже используется llama.app, карточка ggml-org предлагает llama serve -hf ggml-org/GLM-5.3-Flash-GGUF. Это команда авторского стека, а не подтверждённый Modelium рецепт для любой установленной версии llama-server. Перед запуском проверьте, какую квантизацию выбирает загрузчик, поддерживает ли ваша сборка архитектуру GLM-5.3-Flash, и доступны ли оба шарда нужного варианта. Для изображений дополнительно проверьте подключение projector; MTP оставьте отдельным экспериментом. s2

Оригинальная модель заявлена авторами как 320B MoE с 18B активных параметров. Это описание архитектуры, не минимум памяти для этой GGUF-конверсии. HF-манифест показывает размеры файлов, но по ним нельзя вычислять RAM/VRAM для конкретной системы, контекста и offload. Независимых end-to-end замеров скорости или качества этих Q2_K/Q4_K мы не проводили; сравнение с BF16 и другими квантами потребуется отдельно. s1 s3

Права и происхождение

Файл .src_sha в конверсии указывает на точную ревизию a5b45eb41df6402735dedc900be14a42e8d5e538 официальных весов zai-org/GLM-5.3-Flash-BF16. Исходный репозиторий содержит текст MIT: он разрешает использование, в том числе коммерческое и распространение, при сохранении уведомления об авторстве и лицензии. При этом карточка самой GGUF-конверсии помечена license: other и отдельного LICENSE в её дереве нет; не следует выдавать эту метку за самостоятельное юридическое заключение о правах на все артефакты. s1 s3 s4

Для сравнения с другим локальным форматом у Modelium есть разбор GLM-5.3-Flash MXFP4/MTP для vLLM. Выбор между ними определяется runtime и задачей, а не размером архива без теста на своём оборудовании.

Источники