# IQuest-Q1 получила GGUF Q4_K_M и MTP: нужен патченный llama.cpp

Источник: https://modelium.tech/zhurnal/iquest-q1-gguf-q4-mtp-patched-llama-cpp/

5 октября 2026 года автор сообщества XHXLB загрузил GGUF-конверсию существующей IQuest-Q1: по 16 шардов BF16 и Q4_K_M, а также отдельный MTP-чекпойнт. Для запуска нужен приложенный патч к закреплённому коммиту llama.cpp; штатный llama.cpp и Ollama не поддерживаются. Замеры скорости принадлежат автору, Modelium модель не запускал.

## Что появилось

5 октября 2026 года участник сообщества XHXLB создал и наполнил репозиторий `IQuest-Q1-GGUF` — конверсию уже выпущенной модели IQuest-Q1, а не новую базовую модель. История репозитория фиксирует загрузку 5 октября с 00:17 до 00:43 UTC. На закреплённой ревизии `3485092ff0ae` API Hugging Face перечисляет 16 GGUF-шардов BF16, 16 шардов Q4_K_M и один отдельный MTP GGUF; рядом опубликованы манифесты, контрольные суммы, исходники патча и записи авторской проверки. Присутствие файлов мы подтвердили по API и манифесту, но не скачивали все веса и не запускали инференс. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

## Для кого это полезно

Если исходная IQuest-Q1 нужна для собственных агентных задач, теперь можно исследовать GGUF-путь с Q4_K_M вместо исходного Safetensors/vLLM и отдельно сравнить генерацию с рекурсивным MTP-черновиком. По карточке автора BF16 занимает 596,79 GiB файлов, Q4_K_M — 180,68 GiB, MTP — ещё 8,72 GiB. Это **размеры опубликованных файлов, не минимум RAM или VRAM**: реальная конфигурация зависит также от размещения слоёв, KV-кеша и временных буферов. MTP не является самостоятельной чат-моделью и требует основного чекпойнта; для выбранной версии нужно скачать все 16 соответствующих шардов. [s1](#src-s1) [s2](#src-s2)

Важная граница совместимости: автор прямо требует **свой патч** к `ggml-org/llama.cpp` на коммите `2ca15f5404760548c39e7b92bd43116a09414a1a`. Коммит существует, патч и инструкция приложены к закреплённой ревизии репозитория, но мы не проверяли сборку и не подтверждаем поддержку этих GGUF в обычном llama.cpp, Ollama или другом runtime. Авторская команда CUDA собиралась для H200 (`CMAKE_CUDA_ARCHITECTURES=90`); это параметр его установки, **не универсальное требование к GPU**. Перед попыткой запуска сверяйте pinned revision, полный комплект шардов, хеши `SHA256SUMS` и команду из `runtime/REPRODUCE.md`; не подменяйте её сборкой upstream без патча. [s1](#src-s1) [s4](#src-s4) [s5](#src-s5)

## Что означают тесты автора

Автор сообщает о тесте на 8 NVIDIA H200 с CUDA 13, `temperature=0`, одном одновременном запросе, отключённом prompt cache и трёх измерениях после прогрева. Для Q4_K_M при 256 входных и 128 выходных токенах медианный decode составлял 62,79 токена/с без MTP и 76,55 с MTP, а сквозной показатель — 29,77 и 31,91 токена/с соответственно. При 1024 входных токенах сквозные показатели сближаются до 18,37 и 18,55 токена/с. Это **авторские измерения данного стека**, а не независимый тест Modelium и не обещание ускорения на иной машине. Файлы измерений подтверждают разные знаменатели decode и end-to-end; не смешивайте их. [s1](#src-s1) [s6](#src-s6) [s7](#src-s7)

Сравнение качества ещё уже: в опубликованном JSON — самодельный фрагмент на 362 токена с 361 next-token меткой, а не отраслевой бенчмарк. У Q4_K_M автор записал top-1 совпадение с BF16 около 87,53% на этом фрагменте; небольшое изменение perplexity здесь нельзя интерпретировать как общее улучшение качества. Автор также описывает случаи дополнительных reasoning-токенов при выключенном thinking и влияние формата API на отображение ответа. Проверяйте собственные агентные сценарии и структурированный вывод отдельно. [s1](#src-s1) [s8](#src-s8)

## Лицензия и следующий шаг

Пакет сохраняет **IQuest-Q1 Modified MIT License** исходной модели. Текст разрешает коммерческое использование, но требует заметно показывать «IQuest-Q1» в интерфейсе коммерческого продукта или сервиса, а также сохранять copyright и лицензионное уведомление. Поэтому называть модель просто «MIT без условий» неверно; лицензию и обязательство атрибуции оцените для своего продукта. Код патча llama.cpp имеет собственное MIT-уведомление, оно не отменяет лицензию весов. [s9](#src-s9) [s10](#src-s10) [s1](#src-s1)

Начните с README и `runtime/REPRODUCE.md` закреплённого пакета: выберите BF16 либо Q4_K_M, скачайте все 16 файлов варианта и опционально MTP, затем на подходящем оборудовании собирайте именно зафиксированную версию с патчем. До включения в рабочую систему сравните корректность tool calling, вывод на своих данных и скорость end-to-end без/с MTP; публикация весов и исходников тестов не заменяет эту проверку. [s1](#src-s1) [s4](#src-s4)

## Источники

1. [XHXLB: карточка IQuest-Q1-GGUF на закреплённой ревизии](https://huggingface.co/xhxlb/IQuest-Q1-GGUF/blob/3485092ff0ae65e45e64660200b90baa42053742/README.md) — получено 2026-10-05
2. [HF API: полный список файлов ревизии 3485092f](https://huggingface.co/api/models/xhxlb/IQuest-Q1-GGUF/revision/3485092ff0ae65e45e64660200b90baa42053742?blobs=true) — получено 2026-10-05
3. [HF API: история коммитов конверсии](https://huggingface.co/api/models/xhxlb/IQuest-Q1-GGUF/commits/main?limit=10) — получено 2026-10-05
4. [XHXLB: инструкция воспроизведения на pinned revision](https://huggingface.co/xhxlb/IQuest-Q1-GGUF/blob/3485092ff0ae65e45e64660200b90baa42053742/runtime/REPRODUCE.md) — получено 2026-10-05
5. [ggml-org/llama.cpp: базовый коммит для патча](https://github.com/ggml-org/llama.cpp/commit/2ca15f5404760548c39e7b92bd43116a09414a1a) — получено 2026-10-05
6. [XHXLB: Q4_K_M speed, MTP off](https://huggingface.co/xhxlb/IQuest-Q1-GGUF/blob/3485092ff0ae65e45e64660200b90baa42053742/validation/speed-q4_k_m_mtp_off.json) — получено 2026-10-05
7. [XHXLB: Q4_K_M speed, MTP on](https://huggingface.co/xhxlb/IQuest-Q1-GGUF/blob/3485092ff0ae65e45e64660200b90baa42053742/validation/speed-q4_k_m_mtp_on.json) — получено 2026-10-05
8. [XHXLB: quality comparison на 361 метке](https://huggingface.co/xhxlb/IQuest-Q1-GGUF/blob/3485092ff0ae65e45e64660200b90baa42053742/validation/quality-comparison.json) — получено 2026-10-05
9. [XHXLB: лицензия конверсии IQuest-Q1](https://huggingface.co/xhxlb/IQuest-Q1-GGUF/blob/3485092ff0ae65e45e64660200b90baa42053742/LICENSE) — получено 2026-10-05
10. [IQuest Research: исходная лицензия модели](https://huggingface.co/IQuestLab/IQuest-Q1/blob/5c21b0630586ef77d38cff1094b8cf37a417fcd8/LICENSE) — получено 2026-10-05