JetBrains добавила компактный GGUF Q3_K_XL для смеси Qwen3.8/3.6

Что именно появилось

GGUF — формат файла модели для программ локального запуска, в том числе llama.cpp. Новый Qwen3.8-3.6-27B-blend-Q3_K_XL.gguf доступен в закреплённой ревизии репозитория JetBrains. Он занимает 13 146 392 768 байт (около 13,15 ГБ) на диске; прежний Q4_K_M — 16 810 715 104 байт (около 16,81 ГБ). В репозитории уже был ещё меньший IQ3_S размером около 12,60 ГБ, поэтому Q3_K_XL не самый маленький вариант. Указанные размеры не являются минимальными требованиями к оперативной или видеопамяти. s2 s3

Название Q3_K_XL относится к способу квантования — уменьшения файла за счёт более компактного представления чисел модели. JetBrains использовала калибровочные данные и разные форматы для разных частей модели. По данным автора, все 866 тензоров основного файла, включая механизм предварительного предложения следующих токенов (MTP), сохранены. Это проверка состава файла, а не гарантия того же качества ответов. s3 s4

Кому это полезно и как выбирать

Если вы уже запускаете большие модели через llama.cpp и хотите попробовать вариант с меньшим файлом загрузки, сравните Q3_K_XL с Q4_K_M на своих задачах. Для вопросов по изображению дополнительно нужен отдельный файл для обработки картинки — mmproj; одного основного GGUF недостаточно. Не покупайте оборудование, ориентируясь на приведённые гигабайты: подтверждённого минимального объёма RAM или VRAM для вашего сценария здесь нет. Готовая карточка JetBrains показывает технический пример запуска, но он рассчитан на человека, уже знакомого с llama.cpp, а не на первую установку локального ИИ. s2 s3

Что проверено и что неизвестно

JetBrains сообщает о функциональной проверке текста, изображений, потокового ответа и двух одновременных запросов на Apple M5 Max с Metal и указанной ревизией llama.cpp. Это авторские тесты, а не проверка Modelium и не минимальная конфигурация компьютера. Сравнение с исходным файлом высокой точности проводилось только для текста при отключённом MTP; автор не заявляет широкой оценки качества или ускорения для Q3_K_XL. Значит, более компактный файл не следует выдавать за такой же по качеству или более быстрый. s2 s4

Закреплённые репозитории JetBrains и обеих исходных моделей Qwen указывают Apache-2.0; JetBrains сохранила LICENSE и уведомление об авторах. Наличие открытых весов не следует путать с лицензией любой программы, в которой вы их запускаете. s2 s5

Следующий шаг: откройте закреплённую карточку JetBrains, выберите файл для своей задачи и сначала проверьте ответы на собственных коротких примерах. Редакция не скачивала веса и не воспроизводила запуск модели.