ThinkingCap Qwen3.8-27B: GGUF и сокращение reasoning-токенов для локального запуска

Зачем это локальному пользователю

Если модель решает задачу с длинным внутренним рассуждением, сокращение reasoning-токенов может снизить объём генерируемого текста и задержку ответа. Но это не измеренный Modelium прирост скорости: время ответа зависит от оборудования, движка, контекста, режима декодирования и длины итогового ответа. По данным самих авторов, средняя точность по их выборке задач составила 85,8% против 86,6% у исходной Qwen3.8-27B; среднее относительное сокращение токенов рассуждения по бенчмаркам — 37,2%. Последняя величина является равновесным средним процентов по строкам, а не процентом от двух агрегированных чисел токенов внизу таблицы. На AIME 2026 авторская точность снизилась с 98,13% до 94,27%, то есть экономия не везде бесплатна. s1

Авторы сравнивали модели с включённым режимом reasoning_effort=xhigh и одинаковым семплированием: temperature 1,0; top-p 0,95; top-k 20. Основные прогоны обслуживались на NVIDIA H200 в vLLM 0.29.0 с MTP speculative decoding. Число seed различалось: например, AIME 2026 запускали с 32 seed, MMLU-Pro — с одним; Terminal-Bench 2.1 охватывал 89 заданий и четыре seed. Эти результаты — тесты BottleCap AI, не независимая проверка качества или аппаратные требования к модели. s1

Файлы и запуск

В официальном репозитории BottleCap есть GGUF: IQ4_XS (15,5 ГБ на диске), Q4_K_M (17,4 ГБ), Q6_K (23,9 ГБ), Q8_0 (29,0 ГБ) и f16 (54,7 ГБ), а также отдельный mmproj для изображений. Размер файла не равен требованию к RAM или VRAM: на память дополнительно влияют контекст, KV-кэш, сервер и выбранная схема выгрузки слоёв. Для первого текстового запуска карточка автора приводит команду после получения доступа к gated-репозиторию:

llama-cli -hf bottlecapai/ThinkingCap-Qwen3.8-27B-GGUF:Q4_K_M -p "Привет!"

Для обработки изображений нужен соответствующий файл mmproj-ThinkingCap-Qwen3.8-27B-f16.gguf; текстового GGUF самого по себе недостаточно. Карточка отдельно предупреждает, что жадное декодирование может зациклить ответ, и рекомендует настройки семплирования базовой модели. Для MTP self-speculative decoding авторы указывают llama-server ... --spec-type draft-mtp --spec-draft-n-max 3 и требуют совместимую сборку llama.cpp; старый runtime может отказаться читать дополнительные тензоры. s2

Авторская проверка GGUF-квантов использовала небольшие подвыборки пяти тестов: 20–100 вопросов на бенчмарк, по одному seed в четырёх из пяти. Заявление «нет видимой потери точности» в этом скрининге нельзя считать доказательством равенства качества. Замеры MTP на одном H200 и четырёх параллельных запросах не переносятся напрямую на домашний Mac или CPU. Modelium не запускал эти файлы и не проверял скорость или качество самостоятельно. s2

Лицензия и доступ

Это доступные по запросу веса, не модель под Apache 2.0 целиком. Собственное дообучение BottleCap распространяется по PolyForm Small Business 1.0.0 с дополнительным разрешением физическим лицам на личное некоммерческое использование. По тексту лицензии, коммерческое использование организациями, не подпадающими под определение малого бизнеса PolyForm, требует отдельного договора с BottleCap. В стандартных условиях PolyForm указан порог менее 100 сотрудников и подрядчиков и выручка менее 1 млн долларов в ценах 2019 года с поправкой на инфляцию. Исходные материалы Qwen отдельно сохраняют условия Apache 2.0; это не отменяет условий BottleCap для производной модели. Те же ограничения распространяются на опубликованные GGUF, FP8 и NVFP4-варианты; наличие файлов в списке Hugging Face само по себе не означает свободное коммерческое использование. s1 s3 s4

Вывод: новая модель интересна тем, кто платит задержкой за длинные рассуждения и хочет локально сравнить ответ, количество токенов и стабильность на своей задаче. Начать проще с официального Q4_K_M GGUF, но прежде нужно получить доступ к весам и проверить применимость лицензии к своему случаю. s1 s2