IQuest-Q1 получила GGUF Q4_K_M и MTP: нужен патченный llama.cpp

Что появилось

5 октября 2026 года участник сообщества XHXLB создал и наполнил репозиторий IQuest-Q1-GGUF — конверсию уже выпущенной модели IQuest-Q1, а не новую базовую модель. История репозитория фиксирует загрузку 5 октября с 00:17 до 00:43 UTC. На закреплённой ревизии 3485092ff0ae API Hugging Face перечисляет 16 GGUF-шардов BF16, 16 шардов Q4_K_M и один отдельный MTP GGUF; рядом опубликованы манифесты, контрольные суммы, исходники патча и записи авторской проверки. Присутствие файлов мы подтвердили по API и манифесту, но не скачивали все веса и не запускали инференс. s1 s2 s3

Для кого это полезно

Если исходная IQuest-Q1 нужна для собственных агентных задач, теперь можно исследовать GGUF-путь с Q4_K_M вместо исходного Safetensors/vLLM и отдельно сравнить генерацию с рекурсивным MTP-черновиком. По карточке автора BF16 занимает 596,79 GiB файлов, Q4_K_M — 180,68 GiB, MTP — ещё 8,72 GiB. Это размеры опубликованных файлов, не минимум RAM или VRAM: реальная конфигурация зависит также от размещения слоёв, KV-кеша и временных буферов. MTP не является самостоятельной чат-моделью и требует основного чекпойнта; для выбранной версии нужно скачать все 16 соответствующих шардов. s1 s2

Важная граница совместимости: автор прямо требует свой патч к ggml-org/llama.cpp на коммите 2ca15f5404760548c39e7b92bd43116a09414a1a. Коммит существует, патч и инструкция приложены к закреплённой ревизии репозитория, но мы не проверяли сборку и не подтверждаем поддержку этих GGUF в обычном llama.cpp, Ollama или другом runtime. Авторская команда CUDA собиралась для H200 (CMAKE_CUDA_ARCHITECTURES=90); это параметр его установки, не универсальное требование к GPU. Перед попыткой запуска сверяйте pinned revision, полный комплект шардов, хеши SHA256SUMS и команду из runtime/REPRODUCE.md; не подменяйте её сборкой upstream без патча. s1 s4 s5

Что означают тесты автора

Автор сообщает о тесте на 8 NVIDIA H200 с CUDA 13, temperature=0, одном одновременном запросе, отключённом prompt cache и трёх измерениях после прогрева. Для Q4_K_M при 256 входных и 128 выходных токенах медианный decode составлял 62,79 токена/с без MTP и 76,55 с MTP, а сквозной показатель — 29,77 и 31,91 токена/с соответственно. При 1024 входных токенах сквозные показатели сближаются до 18,37 и 18,55 токена/с. Это авторские измерения данного стека, а не независимый тест Modelium и не обещание ускорения на иной машине. Файлы измерений подтверждают разные знаменатели decode и end-to-end; не смешивайте их. s1 s6 s7

Сравнение качества ещё уже: в опубликованном JSON — самодельный фрагмент на 362 токена с 361 next-token меткой, а не отраслевой бенчмарк. У Q4_K_M автор записал top-1 совпадение с BF16 около 87,53% на этом фрагменте; небольшое изменение perplexity здесь нельзя интерпретировать как общее улучшение качества. Автор также описывает случаи дополнительных reasoning-токенов при выключенном thinking и влияние формата API на отображение ответа. Проверяйте собственные агентные сценарии и структурированный вывод отдельно. s1 s8

Лицензия и следующий шаг

Пакет сохраняет IQuest-Q1 Modified MIT License исходной модели. Текст разрешает коммерческое использование, но требует заметно показывать «IQuest-Q1» в интерфейсе коммерческого продукта или сервиса, а также сохранять copyright и лицензионное уведомление. Поэтому называть модель просто «MIT без условий» неверно; лицензию и обязательство атрибуции оцените для своего продукта. Код патча llama.cpp имеет собственное MIT-уведомление, оно не отменяет лицензию весов. s9 s10 s1

Начните с README и runtime/REPRODUCE.md закреплённого пакета: выберите BF16 либо Q4_K_M, скачайте все 16 файлов варианта и опционально MTP, затем на подходящем оборудовании собирайте именно зафиксированную версию с патчем. До включения в рабочую систему сравните корректность tool calling, вывод на своих данных и скорость end-to-end без/с MTP; публикация весов и исходников тестов не заменяет эту проверку. s1 s4