Qwen3.8-27B в DASH-Q: три компактных GGUF для локального текста

Что вышло 4 октября

Автор jkim96 загрузил три сторонние квантизации существующей Qwen3.8-27B в формате GGUF: IQ2_XXS (7 774 075 648 байт), IQ2_S (8 700 590 848 байт) и Q2_K_XL (9 797 335 808 байт). История Hugging Face датирует загрузку весов 4 октября 2026 года; закреплённая ревизия 9c57d7881af1bf9b17f75c432f8450f91147a077 содержит все три файла. Это не новый официальный релиз Qwen и не собственный тест Modelium. s1 s2 s5

Исходная модель Qwen умеет работать с изображениями и видео, однако автор GGUF прямо называет эти файлы только текстовыми: vision tower не входит в комплект. Если вам нужна мультимодальность, этот пакет не заменит полный исходный чекпойнт. У исходной Qwen3.8-27B и метаданных производного репозитория указана Apache-2.0; исходный код инструмента DASH-Q распространяется отдельно и также помечен Apache-2.0. Доступные веса, код инструмента и их лицензии — разные объекты. s1 s3 s4

Что говорят измерения автора

Карточка сравнивает варианты по perplexity — показателю предсказания токенов, у которого меньшее значение лучше. Методика в карточке: llama-perplexity, контекст 2048; тест WikiText-2 и validation-подвыборка C4 из 256 фрагментов по 2048 токенов. Для IQ2_XXS автор приводит 7,62 на WikiText-2 и 13,39 на C4; для IQ2_S — 6,72 и 11,51; для Q2_K_XL — 6,40 и 10,92 соответственно. По этим авторским цифрам наиболее крупный из трёх файлов выглядит предпочтительнее при наличии дискового места; это не подтверждает лучший русский язык, программирование или диалоговую работу. s1

Сравнение с чужими GGUF нельзя свести к победе одного алгоритма: в таблице карточки для IQ2_XXS сторонний Unsloth имеет меньший C4 (12,53 против 13,39), а для IQ2_S — чуть меньший C4 (11,46 против 11,51) при другом размере файлов. Независимого воспроизведения, одинаковой процедуры для всех моделей и теста скорости инференса здесь нет. s1

Как выбрать и не ошибиться с командой

Для проверки скачайте один из трёх файлов именно из закреплённой ревизии HF и укажите его реальное имя в установленном llama-cli. Например, с уже скачанным Qwen3.8-27B-DASHQ-IQ2_S.gguf пример аргументов будет llama-cli -m ./Qwen3.8-27B-DASHQ-IQ2_S.gguf -c 8192; совместимость и скорость на вашей машине мы не тестировали. Автор утверждает, что используются штатные типы тензоров llama.cpp и что специальный DASH-Q loader для этих GGUF не нужен; это заявление автора, а не результат нашего запуска. s1

Исправление к карточке: её готовый пример указывает Qwen3.8-27B-DASHQ-IQ2_M.gguf, но такого файла нет в полном закреплённом манифесте. Не копируйте команду буквально: выбирайте IQ2_XXS, IQ2_S или Q2_K_XL и подставляйте точное имя скачанного GGUF. Размер файла — объём на диске, не минимальный объём RAM или VRAM; дополнительные расходы зависят от контекста, runtime и выбранного устройства. s1 s2