# Qwen3.5-9B: четыре компактных DASH-Q GGUF для локального текста

Источник: https://modelium.tech/zhurnal/qwen35-9b-dashq-q2-gguf-text-only/

Автор DASH-Q выпустил четыре сторонние GGUF-квантизации Qwen3.5-9B класса 2 бит, размером от 3,20 до 3,84 ГБ по закреплённому манифесту Hugging Face. Это текстовые конверсии без vision tower, а не новая модель Qwen. После публикации таблицы автор менял бинарные файлы; связь прежних замеров с нынешней ревизией не подтверждена. Запуск локально возможен через совместимый llama.cpp, но Modelium его не тестировал.

## Что действительно выпущено

Автор jkim96 опубликовал **сторонние**, а не официальные квантизации существующей Qwen3.5-9B. История репозитория фиксирует загрузку четырёх GGUF 2 октября 2026 года; 4 октября автор менял их бинарное содержимое, убирая неиспользуемый блок предсказания следующего токена. На закреплённой ревизии `5660a256b48bbc4738cd6b91e38eda0bf46cd52b` доступны все четыре файла. Свежесть `lastModified` сама по себе не означает новый релиз исходной модели. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

- `IQ2_XXS` — 3 199 869 696 байт (около 3,20 ГБ на диске); минимальный размер в этой четвёрке.

- `IQ2_XS` — 3 418 235 648 байт (около 3,42 ГБ).

- `IQ2_M` — 3 638 567 680 байт (около 3,64 ГБ).

- `Q2_K_XL` — 3 843 629 600 байт (около 3,84 ГБ); самый большой вариант. [s2](#src-s2)

Это размеры **файлов**, не минимальные требования к оперативной или видеопамяти. Исходная Qwen3.5-9B описана как мультимодальная модель, но автор этих GGUF прямо указывает `Text only`: блок обработки изображений в пакет не включён. Для задачи с картинками выберите другой, комплектный мультимодальный пакет, а не эти четыре файла. [s1](#src-s1) [s4](#src-s4)

## Как выбирать без ложной точности

Если важен минимальный объём скачивания, начните с `IQ2_XXS`; если можно хранить более крупный файл, сравните `IQ2_M` и `Q2_K_XL` **на собственных текстовых задачах**. Меньший файл не гарантирует приемлемого качества, а больший — лучшего результата в вашем языке или сценарии. Для задач, чувствительных к точности ответа, сопоставьте эти 2-битные конверсии с менее агрессивной квантизацией той же модели при одинаковых запросах. Скорость и требования к памяти здесь не измерялись редакцией. [s1](#src-s1) [s2](#src-s2)

Карточка приводит **авторские** результаты perplexity (`llama-perplexity`, контекст 2048; WikiText-2 и C4 validation, 256 фрагментов по 2048 токенов) и zero-shot тесты через `lm-eval-harness`. После записи таблицы автор изменил все четыре GGUF: на закреплённой ревизии размеры файлов уменьшились, а заявленные в карточке 3,93 ГБ для `Q2_K_XL` не совпадают с фактическими 3,84 ГБ. Нет свидетельства, что тесты повторены на нынешнем комплекте. Поэтому численные места в таблице не служат в этой статье доказательством качества конкретных скачиваемых файлов. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

## Путь к локальному запуску

Скачивайте **одно выбранное имя файла** из закреплённой ревизии, а не произвольный `main`; например, через `hf download jkim96/Qwen3.5-9B-DASHQ-Q2-GGUF Qwen3.5-9B-DASHQ-IQ2_M.gguf --revision 5660a256b48bbc4738cd6b91e38eda0bf46cd52b --local-dir .`. Затем подайте полученный путь в `llama-cli -m ./Qwen3.5-9B-DASHQ-IQ2_M.gguf`. Автор утверждает, что GGUF используют стандартные типы тензоров llama.cpp; конкретную сборку и работу на вашем устройстве следует проверять отдельно. Ни загрузку многогигабайтных файлов, ни генерацию Modelium не запускал. [s1](#src-s1) [s5](#src-s5)

Метаданные производного репозитория и `LICENSE` исходной Qwen3.5-9B указывают Apache-2.0: это доступные для скачивания веса с условиями этой лицензии, включая коммерческое использование при соблюдении её текста. Код инструмента DASH-Q распространяется отдельно в собственном репозитории. Наличие открытого кода инструмента не доказывает открытость всего стека запуска. [s1](#src-s1) [s4](#src-s4) [s6](#src-s6)

Если вам нужна версия семейства Qwen3.8-27B, у того же автора есть другой компактный пакет, но его размеры и выводы нельзя переносить на Qwen3.5-9B. Следующий шаг — скачать один закреплённый GGUF и сравнить ответы с более точным вариантом на собственных примерах. [s1](#src-s1)

## Источники

1. [jkim96: Qwen3.5-9B DASH-Q Q2 GGUF, закреплённая карточка](https://huggingface.co/jkim96/Qwen3.5-9B-DASHQ-Q2-GGUF/blob/5660a256b48bbc4738cd6b91e38eda0bf46cd52b/README.md) — получено 2026-10-04
2. [Hugging Face: полный манифест четырёх GGUF на закреплённой ревизии](https://huggingface.co/api/models/jkim96/Qwen3.5-9B-DASHQ-Q2-GGUF/tree/5660a256b48bbc4738cd6b91e38eda0bf46cd52b?recursive=true&limit=100) — получено 2026-10-04
3. [Hugging Face: история коммитов Qwen3.5-9B DASH-Q](https://huggingface.co/jkim96/Qwen3.5-9B-DASHQ-Q2-GGUF/commits/main) — получено 2026-10-04
4. [Qwen: официальная карточка и LICENSE Qwen3.5-9B](https://huggingface.co/Qwen/Qwen3.5-9B/tree/c202236235762e1c871ad0ccb60c8ee5ba337b9a) — получено 2026-10-04
5. [Hugging Face Hub: документация hf download и --revision](https://huggingface.co/docs/huggingface_hub/guides/cli) — получено 2026-10-04
6. [JaeminK/dashq: код инструмента и Apache-2.0](https://github.com/JaeminK/dashq) — получено 2026-10-04