Phi-4 в DASH-Q: четыре 2-битных GGUF для локального запуска

Что доступно

Закреплённый снимок bc013727abb724fa0a43bfad4b778fd51b7e224d содержит все четыре файла: phi-4-DASHQ-IQ2_XXS.gguf (4,66 GB), phi-4-DASHQ-IQ2_XS.gguf (5,18 GB), phi-4-DASHQ-IQ2_M.gguf (5,61 GB), phi-4-DASHQ-Q2_K_XL.gguf (6,06 GB). Размеры сверены с манифестом Hugging Face, а история коммитов фиксирует их добавление именно 2 октября. Это размеры файлов на диске, не минимальные требования к RAM или VRAM: рабочая память зависит от контекста, KV-кеша и способа размещения слоёв. s1 s3

Карточка утверждает, что файлы состоят из стандартных типов тензоров llama.cpp, без собственных новых типов. Для предварительной проверки скачайте один GGUF из закреплённой ревизии и запустите установленным llama-cli, указав путь к файлу через -m; начните с разумного контекста и настройте распределение слоёв под свою машину. Автор показывает пример -ngl 99 -c 8192, но это пример конфигурации, не доказанный минимум оборудования. Modelium запуск не воспроизводил. s1

Что показывают тесты — и чего не показывают

По измерениям самого автора, perplexity WikiText-2 у IQ2_M составила 6,27 против 6,46 у обычной llama.cpp IQ2_M с imatrix; на C4 — 11,97 против 12,28. Варианты при этом отличаются размером: 5,61 GB у DASH-Q против 5,49 GB у сравниваемого файла. Для Q2_K_XL автор приводит 6,18 против 6,42 на WikiText-2 и 11,87 против 12,17 на C4; здесь также сравниваются файлы неодинакового размера. Условия из карточки: llama-perplexity, контекст 2048, WikiText-2 test и C4 validation (256 × 2048 токенов). Автор также приводит девять zero-shot задач в lm-eval-harness, но опубликованная карточка не содержит отдельного полного воспроизводимого журнала прогонов. Эти числа не равны гарантированному улучшению ответов на ваших задачах, и Modelium их независимо не проверял. s1

Лицензия и выбор

В карточке конверсии указана MIT и прямо сказано, что права наследуются от исходной microsoft/phi-4; у Microsoft карточка и текст LICENSE действительно указывают MIT. Код инструмента DASH-Q распространяется отдельно под Apache-2.0 — лицензию кода не следует путать с лицензией весов. MIT допускает коммерческое использование при соблюдении её условий, однако применимость к вашему продукту и требованиям безопасности следует оценить отдельно. s1 s2 s4

Если нужен минимальный размер файла, начните с IQ2_XXS; если важнее показатели в авторской таблице, сравните IQ2_M и Q2_K_XL на собственных текстах и с обычными imatrix-квантами аналогичного размера. Проверьте формат, точность и задержку в вашем runtime — опубликованные perplexity и zero-shot оценки не заменяют прикладной проверки. s1