Gemma 4 31B в DASH-Q GGUF: компактная текстовая квантизация
На странице · 4 разделов
2 октября 2026 года автор DASH-Q опубликовал GGUF-квантизацию Gemma 4 31B Instruct: один файл на 11,98 ГБ для текстового запуска через llama.cpp. Визуальная часть исходной модели в этот пакет не входит. Автор сравнил отклонение распределения токенов с обычным Q2_K на небольшой выборке; это не независимый тест качества ответов. Лицензия исходной модели — Apache 2.0.
Что опубликовано
2 октября 2026 года автор jkim96 загрузил один GGUF-файл gemma-4-31B-it-DASHQ-Q2_K_XL.gguf для Gemma 4 31B Instruct. История Hugging Face датирует загрузку весов 05:50 UTC; закреплённый манифест подтверждает один файл размером 11 979 192 224 байта. Это сторонняя квантизация существующей модели Google, не новый релиз базовых весов и не собственный тест Modelium. s1 s2
В карточке автор описывает смешанную точность Q2_K/Q3_K/Q4_K — около трёх бит на вес — в стандартном GGUF для llama.cpp. Название «Q2_K_XL» не означает, что весь файл строго двухбитный. Исходная Gemma 4 31B принимает текст и изображения, но эта сборка, по словам автора, только текстовая: vision tower отсутствует. Не используйте её для анализа изображений. s1 s3
Что дают опубликованные замеры
Автор сравнил свою квантизацию с обычным llama.cpp Q2_K (imatrix) по близости распределения следующего токена к F16: WikiText-2, четыре отрезка по 2048 токенов, утилита llama-perplexity --kl-divergence. В карточке указаны средняя KL-дивергенция 1,39 против 3,04, медианная 0,37 против 1,96 и совпадение самого вероятного токена 65,0% против 44,4% при размерах 11,98 и 11,92 ГБ соответственно. Это авторское сравнение с конкретным Q2_K, а не независимое подтверждение качества в диалоге, программировании, русском языке или на длинном контексте; скорости инференса также не приведены. s1
Как проверить локально
Скачайте GGUF из закреплённой ревизии репозитория, а не из меняющейся ветки main. Для уже установленной совместимой версии llama.cpp автор приводит пример llama-cli -m gemma-4-31B-it-DASHQ-Q2_K_XL.gguf -ngl 99 -c 8192. Параметр -ngl 99 запрашивает перенос слоёв на GPU и не является подтверждённым минимальным требованием; подбирайте число слоёв и контекст под свою машину. Размер файла на диске нельзя автоматически считать требуемым объёмом RAM или VRAM: нужен запас под выполнение и KV-кеш, а мы эту сборку не запускали. s1
Для практического решения сравните её с доступной вам обычной Q2_K-квантизацией на собственном наборе текстовых задач, фиксируя одинаковый промпт, контекст и параметры генерации. Если нужны картинки или гарантированная точность на рабочих данных, выбирайте вариант с vision-пакетом либо измеряйте качество отдельно; небольшая KL-выборка не заменяет такую проверку. s1 s3
Права и границы
Карточка стороннего GGUF указывает apache-2.0 и наследование условий от google/gemma-4-31B-it; официальная карточка Google также указывает Apache 2.0. Это открыто доступные квантизованные веса с лицензией Apache 2.0, а не заявление, что Modelium проверил файл запуском или повторил бенчмарк. Отдельный репозиторий кода DASH-Q тоже содержит Apache 2.0, но его Python-загрузчик для иных чекпойнтов не требуется для заявленного GGUF-запуска в llama.cpp. s1 s3 s4
Источники
- jkim96 Gemma 4 31B DASH-Q GGUF: карточка, дерево и полный вес на закреплённой ревизии — Авторские KL-замеры не воспроизведены; tree показывает полный 11 979 192 224-байтный GGUF.. Получено 02.10.2026.
- Hugging Face commits: загрузка GGUF 2 октября 2026. Получено 02.10.2026.
- Google Gemma 4 31B Instruct: официальная карточка модели и лицензия. Получено 02.10.2026.
- DASH-Q: код, README и Apache-2.0 LICENSE на закреплённом коммите. Получено 02.10.2026.