# Gemma 4 31B в DASH-Q GGUF: компактная текстовая квантизация

Источник: https://modelium.tech/zhurnal/gemma4-31b-dashq-q2k-gguf-text-only/

2 октября 2026 года автор DASH-Q опубликовал GGUF-квантизацию Gemma 4 31B Instruct: один файл на 11,98 ГБ для текстового запуска через llama.cpp. Визуальная часть исходной модели в этот пакет не входит. Автор сравнил отклонение распределения токенов с обычным Q2_K на небольшой выборке; это не независимый тест качества ответов. Лицензия исходной модели — Apache 2.0.

## Что опубликовано

2 октября 2026 года автор jkim96 загрузил один GGUF-файл `gemma-4-31B-it-DASHQ-Q2_K_XL.gguf` для **Gemma 4 31B Instruct**. История Hugging Face датирует загрузку весов 05:50 UTC; закреплённый манифест подтверждает один файл размером 11 979 192 224 байта. Это сторонняя квантизация существующей модели Google, **не** новый релиз базовых весов и не собственный тест Modelium. [s1](#src-s1) [s2](#src-s2)

В карточке автор описывает смешанную точность Q2_K/Q3_K/Q4_K — около трёх бит на вес — в стандартном GGUF для llama.cpp. Название «Q2_K_XL» не означает, что весь файл строго двухбитный. Исходная Gemma 4 31B принимает текст и изображения, но эта сборка, по словам автора, **только текстовая**: vision tower отсутствует. Не используйте её для анализа изображений. [s1](#src-s1) [s3](#src-s3)

## Что дают опубликованные замеры

Автор сравнил свою квантизацию с обычным `llama.cpp Q2_K (imatrix)` по близости распределения следующего токена к F16: WikiText-2, четыре отрезка по 2048 токенов, утилита `llama-perplexity --kl-divergence`. В карточке указаны средняя KL-дивергенция **1,39 против 3,04**, медианная **0,37 против 1,96** и совпадение самого вероятного токена **65,0% против 44,4%** при размерах 11,98 и 11,92 ГБ соответственно. Это **авторское сравнение** с конкретным Q2_K, а не независимое подтверждение качества в диалоге, программировании, русском языке или на длинном контексте; скорости инференса также не приведены. [s1](#src-s1)

## Как проверить локально

Скачайте GGUF из закреплённой ревизии репозитория, а не из меняющейся ветки `main`. Для уже установленной совместимой версии `llama.cpp` автор приводит пример `llama-cli -m gemma-4-31B-it-DASHQ-Q2_K_XL.gguf -ngl 99 -c 8192`. Параметр `-ngl 99` запрашивает перенос слоёв на GPU и не является подтверждённым минимальным требованием; подбирайте число слоёв и контекст под свою машину. Размер файла на диске нельзя автоматически считать требуемым объёмом RAM или VRAM: нужен запас под выполнение и KV-кеш, а мы эту сборку не запускали. [s1](#src-s1)

Для практического решения сравните её с доступной вам обычной Q2_K-квантизацией **на собственном наборе текстовых задач**, фиксируя одинаковый промпт, контекст и параметры генерации. Если нужны картинки или гарантированная точность на рабочих данных, выбирайте вариант с vision-пакетом либо измеряйте качество отдельно; небольшая KL-выборка не заменяет такую проверку. [s1](#src-s1) [s3](#src-s3)

## Права и границы

Карточка стороннего GGUF указывает `apache-2.0` и наследование условий от `google/gemma-4-31B-it`; официальная карточка Google также указывает Apache 2.0. Это открыто доступные квантизованные веса с лицензией Apache 2.0, а не заявление, что Modelium проверил файл запуском или повторил бенчмарк. Отдельный репозиторий кода DASH-Q тоже содержит Apache 2.0, но его Python-загрузчик для иных чекпойнтов не требуется для заявленного GGUF-запуска в llama.cpp. [s1](#src-s1) [s3](#src-s3) [s4](#src-s4)

## Источники

1. [jkim96 Gemma 4 31B DASH-Q GGUF: карточка, дерево и полный вес на закреплённой ревизии](https://huggingface.co/jkim96/gemma-4-31B-it-DASHQ-GGUF/tree/16ac10f1e6ad47f9bd8b551decdd0e16fb499284) — получено 2026-10-02
2. [Hugging Face commits: загрузка GGUF 2 октября 2026](https://huggingface.co/jkim96/gemma-4-31B-it-DASHQ-GGUF/commits/main) — получено 2026-10-02
3. [Google Gemma 4 31B Instruct: официальная карточка модели и лицензия](https://huggingface.co/google/gemma-4-31B-it/tree/842da3794eaa0b77d5f08bae87a17459d91ff475) — получено 2026-10-02
4. [DASH-Q: код, README и Apache-2.0 LICENSE на закреплённом коммите](https://github.com/JaeminK/dashq/tree/152210c0176b09827d90e911f95cf60230c83f3d) — получено 2026-10-02