# Phi-4 в DASH-Q: четыре 2-битных GGUF для локального запуска

Источник: https://modelium.tech/zhurnal/phi4-dashq-2bit-gguf-four-quantizations/

2 октября автор DASH-Q выложил четыре GGUF-квантизации Microsoft Phi-4 — IQ2_XXS, IQ2_XS, IQ2_M и Q2_K_XL. Все четыре файла есть в закреплённой ревизии Hugging Face; они используют стандартные типы тензоров llama.cpp. Автор приводит сравнение perplexity с обычными imatrix-квантами, но файлы крупнее соответствующих базовых вариантов, а независимой проверки качества Modelium не проводил.

Phi-4 в DASH-Q: четыре 2-битных GGUF для локального запуска

2 октября 2026 года автор проекта DASH-Q добавил четыре готовых GGUF-квантизации **Microsoft Phi-4**. Это не новая базовая модель: исходная Phi-4 — плотная модель на 14 млрд параметров, ориентированная главным образом на английский язык. Новость — доступность разных вариантов низкобитного сжатия в стандартном формате для локального llama.cpp. [s1](#src-s1) [s2](#src-s2)

## Что доступно

Закреплённый снимок `bc013727abb724fa0a43bfad4b778fd51b7e224d` содержит все четыре файла: `phi-4-DASHQ-IQ2_XXS.gguf` (4,66 GB), `phi-4-DASHQ-IQ2_XS.gguf` (5,18 GB), `phi-4-DASHQ-IQ2_M.gguf` (5,61 GB), `phi-4-DASHQ-Q2_K_XL.gguf` (6,06 GB). Размеры сверены с манифестом Hugging Face, а история коммитов фиксирует их добавление именно 2 октября. Это размеры файлов на диске, **не минимальные требования к RAM или VRAM**: рабочая память зависит от контекста, KV-кеша и способа размещения слоёв. [s1](#src-s1) [s3](#src-s3)

Карточка утверждает, что файлы состоят из стандартных типов тензоров llama.cpp, без собственных новых типов. Для предварительной проверки скачайте один GGUF из закреплённой ревизии и запустите установленным `llama-cli`, указав путь к файлу через `-m`; начните с разумного контекста и настройте распределение слоёв под свою машину. Автор показывает пример `-ngl 99 -c 8192`, но это **пример конфигурации, не доказанный минимум оборудования**. Modelium запуск не воспроизводил. [s1](#src-s1)

## Что показывают тесты — и чего не показывают

По измерениям **самого автора**, perplexity WikiText-2 у IQ2_M составила 6,27 против 6,46 у обычной llama.cpp IQ2_M с imatrix; на C4 — 11,97 против 12,28. Варианты при этом отличаются размером: 5,61 GB у DASH-Q против 5,49 GB у сравниваемого файла. Для Q2_K_XL автор приводит 6,18 против 6,42 на WikiText-2 и 11,87 против 12,17 на C4; здесь также сравниваются файлы неодинакового размера. Условия из карточки: `llama-perplexity`, контекст 2048, WikiText-2 test и C4 validation (256 × 2048 токенов). Автор также приводит девять zero-shot задач в lm-eval-harness, но опубликованная карточка не содержит отдельного полного воспроизводимого журнала прогонов. Эти числа не равны гарантированному улучшению ответов на ваших задачах, и Modelium их независимо не проверял. [s1](#src-s1)

## Лицензия и выбор

В карточке конверсии указана MIT и прямо сказано, что права наследуются от исходной `microsoft/phi-4`; у Microsoft карточка и текст LICENSE действительно указывают MIT. Код инструмента DASH-Q распространяется отдельно под Apache-2.0 — лицензию кода не следует путать с лицензией весов. MIT допускает коммерческое использование при соблюдении её условий, однако применимость к вашему продукту и требованиям безопасности следует оценить отдельно. [s1](#src-s1) [s2](#src-s2) [s4](#src-s4)

Если нужен минимальный размер файла, начните с IQ2_XXS; если важнее показатели **в авторской таблице**, сравните IQ2_M и Q2_K_XL на собственных текстах и с обычными imatrix-квантами аналогичного размера. Проверьте формат, точность и задержку в вашем runtime — опубликованные perplexity и zero-shot оценки не заменяют прикладной проверки. [s1](#src-s1)

## Источники

1. [jkim96/phi-4-DASHQ-Q2-GGUF: карточка и четыре GGUF](https://huggingface.co/jkim96/phi-4-DASHQ-Q2-GGUF/tree/bc013727abb724fa0a43bfad4b778fd51b7e224d) — получено 2026-10-02
2. [Microsoft Phi-4: исходная модель и MIT LICENSE](https://huggingface.co/microsoft/phi-4/tree/2db69c1c3e91a05d2c64a3185acfbaf36f744e25) — получено 2026-10-02
3. [История коммитов GGUF-квантизаций Phi-4 DASH-Q](https://huggingface.co/jkim96/phi-4-DASHQ-Q2-GGUF/commits/main) — получено 2026-10-02
4. [DASH-Q: исходный репозиторий и лицензия кода](https://github.com/JaeminK/dashq) — получено 2026-10-02