GLM-4.7-Flash в DASH-Q: два 2-битных GGUF для локального запуска
На странице · 3 разделов
4 октября 2026 года автор DASH-Q загрузил два сторонних GGUF-пакета GLM-4.7-Flash: IQ2_XXS (11,23 ГБ) и Q2_K_XL (11,49 ГБ). Оба файла доступны в закреплённой ревизии Hugging Face. Карточка приводит авторские результаты perplexity, но не замеры скорости или независимые проверки качества; пример запуска указывает отсутствующий IQ2_M-файл, поэтому имя модели нужно брать из фактического списка файлов.
Что именно появилось
4 октября 2026 года jkim96 загрузил две сторонние квантизации существующей GLM-4.7-Flash: GLM-4.7-Flash-DASHQ-IQ2_XXS.gguf (11 230 478 208 байт) и GLM-4.7-Flash-DASHQ-Q2_K_XL.gguf (11 494 719 360 байт). Полное дерево закреплённой ревизии 20a92d88e87c965b022ce4ae8d70fed72eec2898 содержит оба файла; история коммитов датирует их загрузку 4 октября. Это не новая базовая модель и не официальный релиз Z.ai. s1 s2 s3
Исходная GLM-4.7-Flash — текстовая MoE-модель 30B-A3B. У исходной карточки и производного HF-репозитория указана лицензия MIT, однако в самом репозитории GGUF отдельного файла LICENSE нет; для условий использования следует сверяться с лицензией базовой модели. Исходный код инструмента DASH-Q распространяется отдельно под Apache-2.0: лицензия инструмента не заменяет лицензию весов. s1 s4 s5
Как читать сравнение качества
Автор приводит llama-perplexity при контексте 2048: WikiText-2 test и C4 validation, 256 фрагментов по 2048 токенов. Меньшее значение perplexity лучше в рамках такой процедуры. Для IQ2_XXS указаны 9,99 на WikiText-2 и 14,43 на C4, для Q2_K_XL — 9,34 и 14,29. По авторским данным второй файл показывает несколько меньшую perplexity, хотя оба занимают примерно 11 ГБ на диске. Это не независимое сравнение ответов, русского языка, кодинга или скорости генерации. s1 s2
В той же авторской таблице несоразмерные по размеру квантизации и сторонние рецепты: например, для IQ2_XXS у Unsloth указаны 9,51 на WikiText-2 и 20,37 на C4 при 10,51 ГБ; значение одной колонки не доказывает общее превосходство. Автор не публикует в карточке проверку одинакового окружения, разброс по запускам и end-to-end скорость. Перед заменой уже работающего чекпойнта проверьте свой набор задач. s1
Практический выбор и запуск
Если нужен меньший файл на диске, возьмите IQ2_XXS; если ориентир — приведённая автором perplexity, Q2_K_XL выглядит немного предпочтительнее. Дисковый размер не равен необходимому объёму RAM или VRAM: фактическая память зависит от runtime, контекста, KV-кеша и распределения слоёв. Для менее агрессивной квантизации есть официальный пакет GGUF от ggml-org с Q4_K и Q8_0 — сравнение с ним полезнее строить на собственных запросах и конкретном устройстве. s2 s6
В карточке DASH-Q пример llama-cli ошибочно называет GLM-4.7-Flash-DASHQ-IQ2_M.gguf: такого файла в закреплённом манифесте нет. После загрузки одного из реально опубликованных файлов укажите его точный путь, например в llama-cli -m <путь-к-GLM-4.7-Flash-DASHQ-Q2_K_XL.gguf>. Это обозначение пути, а не исполненный редакцией тест. Автор пишет, что пакеты используют стандартные типы тензоров llama.cpp, но Modelium не проверял загрузку, скорость или качество на локальном оборудовании. s1 s2
Вывод: новая конверсия расширяет выбор компактных текстовых GGUF для GLM-4.7-Flash; её достоинство пока подтверждено лишь наличием файлов и описанными автором тестами perplexity. Начните с точного файла из закреплённой ревизии и сравните ответы на своих задачах с более крупным Q4_K, прежде чем делать вывод о пригодности для рабочего процесса. s1 s2 s6
Источники
- jkim96: закреплённая карточка GLM-4.7-Flash DASH-Q GGUF — Результаты perplexity — заявления автора; пример команды называет отсутствующий IQ2_M.. Получено 04.10.2026.
- Hugging Face: полный закреплённый манифест GLM-4.7-Flash DASH-Q — API recursive=true&expand=true подтвердил два GGUF и точные размеры.. Получено 04.10.2026.
- Hugging Face: история загрузки GLM-4.7-Flash DASH-Q. Получено 04.10.2026.
- Z.ai: исходная карточка GLM-4.7-Flash — MIT в метаданных исходной модели, MoE 30B-A3B.. Получено 04.10.2026.
- JaeminK/dashq: код инструмента и лицензия. Получено 04.10.2026.
- ggml-org: официальный GGUF-пакет GLM-4.7-Flash. Получено 04.10.2026.