# ThinkingCap Qwen3.8-27B: GGUF и сокращение reasoning-токенов для локального запуска

Источник: https://modelium.tech/zhurnal/thinkingcap-qwen38-27b-gguf-fewer-reasoning-tokens/

BottleCap AI 23 сентября 2026 года разместила дообученную ThinkingCap Qwen3.8-27B и собственные GGUF-квантизации для llama.cpp. По оценке авторов, модель сокращает число токенов рассуждения в среднем на 37,2% по набору задач при небольшом снижении среднего балла. Веса доступны через заявку на Hugging Face, а лицензия PolyForm Small Business и отдельное разрешение для личного использования не равны свободной коммерческой лицензии.

ThinkingCap Qwen3.8-27B: меньше reasoning-токенов, отдельные GGUF и ограничения лицензии

23 сентября 2026 года BottleCap AI создала репозитории **ThinkingCap-Qwen3.8-27B** и **ThinkingCap-Qwen3.8-27B-GGUF** на Hugging Face. Это дообучение Qwen3.8-27B, а не новый базовый Qwen. В основных весах есть Safetensors; в отдельном GGUF-репозитории лежат пять вариантов модели и мультимодальный проектор. Доступ к обоим репозиториям помечен как *gated auto*: перед загрузкой нужно запросить доступ, принять условия и заполнить поля автора. Публичная карточка и список файлов видны без скачивания весов. [s1](#src-s1) [s2](#src-s2)

## Зачем это локальному пользователю

Если модель решает задачу с длинным внутренним рассуждением, сокращение reasoning-токенов может снизить объём генерируемого текста и задержку ответа. Но это **не** измеренный Modelium прирост скорости: время ответа зависит от оборудования, движка, контекста, режима декодирования и длины итогового ответа. По данным самих авторов, средняя точность по их выборке задач составила 85,8% против 86,6% у исходной Qwen3.8-27B; среднее относительное сокращение токенов рассуждения по бенчмаркам — 37,2%. Последняя величина является равновесным средним *процентов по строкам*, а не процентом от двух агрегированных чисел токенов внизу таблицы. На AIME 2026 авторская точность снизилась с 98,13% до 94,27%, то есть экономия не везде бесплатна. [s1](#src-s1)

Авторы сравнивали модели с включённым режимом `reasoning_effort=xhigh` и одинаковым семплированием: temperature 1,0; top-p 0,95; top-k 20. Основные прогоны обслуживались на NVIDIA H200 в vLLM 0.29.0 с MTP speculative decoding. Число seed различалось: например, AIME 2026 запускали с 32 seed, MMLU-Pro — с одним; Terminal-Bench 2.1 охватывал 89 заданий и четыре seed. Эти результаты — **тесты BottleCap AI**, не независимая проверка качества или аппаратные требования к модели. [s1](#src-s1)

## Файлы и запуск

В официальном репозитории BottleCap есть GGUF: `IQ4_XS` (15,5 ГБ на диске), `Q4_K_M` (17,4 ГБ), `Q6_K` (23,9 ГБ), `Q8_0` (29,0 ГБ) и `f16` (54,7 ГБ), а также отдельный `mmproj` для изображений. Размер файла **не равен требованию к RAM или VRAM**: на память дополнительно влияют контекст, KV-кэш, сервер и выбранная схема выгрузки слоёв. Для первого текстового запуска карточка автора приводит команду после получения доступа к gated-репозиторию:

llama-cli -hf bottlecapai/ThinkingCap-Qwen3.8-27B-GGUF:Q4_K_M -p "Привет!"

Для обработки изображений нужен соответствующий файл `mmproj-ThinkingCap-Qwen3.8-27B-f16.gguf`; текстового GGUF самого по себе недостаточно. Карточка отдельно предупреждает, что жадное декодирование может зациклить ответ, и рекомендует настройки семплирования базовой модели. Для MTP self-speculative decoding авторы указывают `llama-server ... --spec-type draft-mtp --spec-draft-n-max 3` и требуют совместимую сборку llama.cpp; старый runtime может отказаться читать дополнительные тензоры. [s2](#src-s2)

Авторская проверка GGUF-квантов использовала небольшие подвыборки пяти тестов: 20–100 вопросов на бенчмарк, по одному seed в четырёх из пяти. Заявление «нет видимой потери точности» в этом скрининге нельзя считать доказательством равенства качества. Замеры MTP на одном H200 и четырёх параллельных запросах не переносятся напрямую на домашний Mac или CPU. **Modelium не запускал эти файлы и не проверял скорость или качество самостоятельно.** [s2](#src-s2)

## Лицензия и доступ

Это **доступные по запросу веса**, не модель под Apache 2.0 целиком. Собственное дообучение BottleCap распространяется по **PolyForm Small Business 1.0.0** с дополнительным разрешением физическим лицам на личное некоммерческое использование. По тексту лицензии, коммерческое использование организациями, не подпадающими под определение малого бизнеса PolyForm, требует отдельного договора с BottleCap. В стандартных условиях PolyForm указан порог менее 100 сотрудников и подрядчиков и выручка менее 1 млн долларов в ценах 2019 года с поправкой на инфляцию. Исходные материалы Qwen отдельно сохраняют условия Apache 2.0; это не отменяет условий BottleCap для производной модели. Те же ограничения распространяются на опубликованные GGUF, FP8 и NVFP4-варианты; наличие файлов в списке Hugging Face само по себе не означает свободное коммерческое использование. [s1](#src-s1) [s3](#src-s3) [s4](#src-s4)

**Вывод:** новая модель интересна тем, кто платит задержкой за длинные рассуждения и хочет локально сравнить ответ, количество токенов и стабильность на своей задаче. Начать проще с официального Q4_K_M GGUF, но прежде нужно получить доступ к весам и проверить применимость лицензии к своему случаю. [s1](#src-s1) [s2](#src-s2)

## Источники

1. [BottleCap AI: ThinkingCap Qwen3.8-27B, карточка модели и оценка](https://huggingface.co/bottlecapai/ThinkingCap-Qwen3.8-27B/tree/52361b720e30f8835af8e401d876ec3077b4a823) — получено 2026-09-24
2. [BottleCap AI: ThinkingCap Qwen3.8-27B GGUF, карточка и файлы](https://huggingface.co/bottlecapai/ThinkingCap-Qwen3.8-27B-GGUF/tree/3ddb2f6b6a47d17ea10aa99fce0de9369b2240dd) — получено 2026-09-24
3. [BottleCap AI: лицензия ThinkingCap](https://huggingface.co/bottlecapai/ThinkingCap-Qwen3.8-27B/blob/52361b720e30f8835af8e401d876ec3077b4a823/LICENSE) — получено 2026-09-24
4. [PolyForm Project: официальный текст Small Business 1.0.0](https://polyformproject.org/licenses/small-business/1.0.0) — получено 2026-09-24