Qwen3.5-9B: четыре компактных DASH-Q GGUF для локального текста
На странице · 3 разделов
Автор DASH-Q выпустил четыре сторонние GGUF-квантизации Qwen3.5-9B класса 2 бит, размером от 3,20 до 3,84 ГБ по закреплённому манифесту Hugging Face. Это текстовые конверсии без vision tower, а не новая модель Qwen. После публикации таблицы автор менял бинарные файлы; связь прежних замеров с нынешней ревизией не подтверждена. Запуск локально возможен через совместимый llama.cpp, но Modelium его не тестировал.
Что действительно выпущено
Автор jkim96 опубликовал сторонние, а не официальные квантизации существующей Qwen3.5-9B. История репозитория фиксирует загрузку четырёх GGUF 2 октября 2026 года; 4 октября автор менял их бинарное содержимое, убирая неиспользуемый блок предсказания следующего токена. На закреплённой ревизии 5660a256b48bbc4738cd6b91e38eda0bf46cd52b доступны все четыре файла. Свежесть lastModified сама по себе не означает новый релиз исходной модели. s1 s2 s3
IQ2_XXS— 3 199 869 696 байт (около 3,20 ГБ на диске); минимальный размер в этой четвёрке.IQ2_XS— 3 418 235 648 байт (около 3,42 ГБ).IQ2_M— 3 638 567 680 байт (около 3,64 ГБ).Q2_K_XL— 3 843 629 600 байт (около 3,84 ГБ); самый большой вариант. s2
Это размеры файлов, не минимальные требования к оперативной или видеопамяти. Исходная Qwen3.5-9B описана как мультимодальная модель, но автор этих GGUF прямо указывает Text only: блок обработки изображений в пакет не включён. Для задачи с картинками выберите другой, комплектный мультимодальный пакет, а не эти четыре файла. s1 s4
Как выбирать без ложной точности
Если важен минимальный объём скачивания, начните с IQ2_XXS; если можно хранить более крупный файл, сравните IQ2_M и Q2_K_XL на собственных текстовых задачах. Меньший файл не гарантирует приемлемого качества, а больший — лучшего результата в вашем языке или сценарии. Для задач, чувствительных к точности ответа, сопоставьте эти 2-битные конверсии с менее агрессивной квантизацией той же модели при одинаковых запросах. Скорость и требования к памяти здесь не измерялись редакцией. s1 s2
Карточка приводит авторские результаты perplexity (llama-perplexity, контекст 2048; WikiText-2 и C4 validation, 256 фрагментов по 2048 токенов) и zero-shot тесты через lm-eval-harness. После записи таблицы автор изменил все четыре GGUF: на закреплённой ревизии размеры файлов уменьшились, а заявленные в карточке 3,93 ГБ для Q2_K_XL не совпадают с фактическими 3,84 ГБ. Нет свидетельства, что тесты повторены на нынешнем комплекте. Поэтому численные места в таблице не служат в этой статье доказательством качества конкретных скачиваемых файлов. s1 s2 s3
Путь к локальному запуску
Скачивайте одно выбранное имя файла из закреплённой ревизии, а не произвольный main; например, через hf download jkim96/Qwen3.5-9B-DASHQ-Q2-GGUF Qwen3.5-9B-DASHQ-IQ2_M.gguf --revision 5660a256b48bbc4738cd6b91e38eda0bf46cd52b --local-dir .. Затем подайте полученный путь в llama-cli -m ./Qwen3.5-9B-DASHQ-IQ2_M.gguf. Автор утверждает, что GGUF используют стандартные типы тензоров llama.cpp; конкретную сборку и работу на вашем устройстве следует проверять отдельно. Ни загрузку многогигабайтных файлов, ни генерацию Modelium не запускал. s1 s5
Метаданные производного репозитория и LICENSE исходной Qwen3.5-9B указывают Apache-2.0: это доступные для скачивания веса с условиями этой лицензии, включая коммерческое использование при соблюдении её текста. Код инструмента DASH-Q распространяется отдельно в собственном репозитории. Наличие открытого кода инструмента не доказывает открытость всего стека запуска. s1 s4 s6
Если вам нужна версия семейства Qwen3.8-27B, у того же автора есть другой компактный пакет, но его размеры и выводы нельзя переносить на Qwen3.5-9B. Следующий шаг — скачать один закреплённый GGUF и сравнить ответы с более точным вариантом на собственных примерах. s1
Источники
- jkim96: Qwen3.5-9B DASH-Q Q2 GGUF, закреплённая карточка — Опубликованная таблица не привязана к исправленным файлам; карточка пока расходится с манифестом по Q2_K_XL.. Получено 04.10.2026.
- Hugging Face: полный манифест четырёх GGUF на закреплённой ревизии — Все четыре GGUF и размеры проверены по полному шестипозиционному дереву; не требования к RAM/VRAM.. Получено 04.10.2026.
- Hugging Face: история коммитов Qwen3.5-9B DASH-Q — Загрузка 2 октября; 4 октября четыре последовательных изменения бинарных файлов.. Получено 04.10.2026.
- Qwen: официальная карточка и LICENSE Qwen3.5-9B. Получено 04.10.2026.
- Hugging Face Hub: документация hf download и --revision. Получено 04.10.2026.
- JaeminK/dashq: код инструмента и Apache-2.0. Получено 04.10.2026.