# Bespoke Nimble 9B v3 появился в GGUF: локальные решения и нюанс сборки llama.cpp

Источник: https://modelium.tech/zhurnal/bespoke-nimble-9b-v3-gguf-local-decisions/

2 октября ggml-org выложила три GGUF-варианта Bespoke Nimble 9B v3 — BF16, Q8_0 и Q4_K_M. Модель предназначена для локальной оценки вариантов ответа, а не обычного чата. Поддержка Nimble в llama.cpp вошла в основной код 2 октября, но последняя проверенная нами сборка b11347 ещё не содержит соответствующий коммит: для запуска нужна более новая сборка или исходный код после включения PR. Веса доступны по CC BY-NC 4.0, коммерческое использование не разрешено этой лицензией.

Bespoke Nimble 9B v3: GGUF для локальных решений, но не для старой сборки llama.cpp

**Коротко.** 2 октября 2026 года в официальной коллекции ggml-org появились три файла Bespoke-Nimble-9B-v3-GGUF: BF16, Q8_0 и Q4_K_M. Это конверсия модели Bespoke Labs для выбора между заданными вариантами по контексту. Репозиторий GGUF и исходный адаптер помечены CC BY-NC 4.0 — открытые веса не означают разрешение на коммерческое применение. [s1](#src-s1) [s2](#src-s2)

## Что именно выпустили

Исходная Bespoke-Nimble-9B-v3 — LoRA-адаптер к Qwen3.5-9B, а не самостоятельный полный чекпойнт. Карточка описывает вопросы типа выбора варианта или «да/нет» с вероятностями для каждого ответа. В GGUF-репозитории ggml-org доступны три **полных отдельных файла**: BF16 — 17 920 698 912 байт, Q8_0 — 9 527 503 392 байта, Q4_K_M — 6 324 185 632 байта. Это размеры файлов для загрузки, **не** минимальные требования к RAM или VRAM. Закреплённая ревизия GGUF — `a72bdbadb355ca3014f7f9d2585380917cc59971`; её служебный `.src_sha` указывает на ревизию адаптера `8e927b9b4afdbb14479fac10a7364d1a695be208`. Журнал конвертации фиксирует тип `nimble` в метаданных GGUF и загрузку исходной Qwen3.5-9B. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

Задача — локально распределять обращения по категориям, оценивать варианты действий и строить проверяемые ветвления без отправки самих данных во внешний API. Вероятности не заменяют проверку ошибок и калибровки на вашем корпусе; это не универсальная генеративная чат-модель.

## Важная граница совместимости

Поддержка Nimble добавлена в llama.cpp отдельным PR #29844, слитым **2 октября в 12:56 UTC**. Он дополняет предыдущий `/v1/systemone` для моделей принятия решений и добавляет распознавание Nimble при конвертации, метаданные типа модели и обработку вопросов сервером. Код PR прямо отмечает, что входные изображения для Nimble пока не поддержаны. [s4](#src-s4) [s5](#src-s5)

**Не ориентируйтесь только на время публикации бинарника.** На момент этой проверки даже GitHub-тег `b11347`, релиз которого появился позже в тот же день, находится на 17 коммитов *позади* коммита Nimble `46ca246d`; сравнение официальных GitHub-ревизий не позволяет считать этот пакет совместимым с Nimble. Проверяйте наличие PR #29844 в конкретном коммите используемой сборки. До появления тега, который включает этот коммит, практический путь — сборка актуального исходного дерева llama.cpp **после** `46ca246d` и использование `/v1/systemone` с закреплённым GGUF-файлом. Это рекомендация по совместимости кода, а не отчёт о нашем тестовом запуске: Modelium не запускал модель и не измерял качество или скорость GGUF. [s4](#src-s4) [s6](#src-s6)

Выбирайте квант по собственной проверке бюджета памяти и качества: Q4_K_M компактнее на диске, BF16 сохраняет исходную точность представления, но независимого сравнения точности трёх GGUF-файлов пока нет. Не переносите на кванты результат исходного адаптера без отдельного замера. [s1](#src-s1) [s7](#src-s7)

## Что говорят замеры автора — и чего не говорят

Bespoke Labs заявляет **56,88 в Decision Index 0.2.1** для исходного адаптера. Опубликованный протокол перечисляет 150 305 успешных запросов и 12 неподдержанных; окружение указывает PyTorch 2.8, Transformers 5.17, PEFT 0.21 и прогон 16 процессов на восьми NVIDIA H100 80GB. Это **авторский тест исходной модели**, не результат GGUF, не независимая проверка Modelium и не минимальная конфигурация локального запуска. Отдельные знаменатели набора заданий и обработанных запросов в артефактах не следует смешивать. [s2](#src-s2) [s7](#src-s7) [s8](#src-s8)

## Права на использование

Карточки адаптера и GGUF отдельно указывают **CC BY-NC 4.0**: некоммерческое использование с атрибуцией при соблюдении условий лицензии. Исходная Qwen3.5-9B отмечена Apache-2.0, но это не отменяет некоммерческое ограничение адаптера и готового GGUF. Для коммерческого сервиса запрашивайте отдельное разрешение правообладателя; бесплатная загрузка не равна коммерческой лицензии. [s1](#src-s1) [s2](#src-s2) [s9](#src-s9)

**Вывод:** это полезный новый формат для локальной классификации и маршрутизации, особенно если нужен отдельный GGUF вместо связки базы и LoRA. Сначала проверьте ревизию runtime и лицензию, затем испытайте выбранный квант на собственных примерах; переносить авторскую оценку адаптера на локальную сборку нельзя.

## Источники

1. [ggml-org: Bespoke-Nimble-9B-v3-GGUF, закреплённая карточка и файлы](https://huggingface.co/ggml-org/Bespoke-Nimble-9B-v3-GGUF/tree/a72bdbadb355ca3014f7f9d2585380917cc59971) — получено 2026-10-02
2. [Bespoke Labs: Bespoke-Nimble-9B-v3 LoRA](https://huggingface.co/bespokelabs/Bespoke-Nimble-9B-v3/tree/8e927b9b4afdbb14479fac10a7364d1a695be208) — получено 2026-10-02
3. [ggml-org: ревизия исходного адаптера и convert.log](https://huggingface.co/ggml-org/Bespoke-Nimble-9B-v3-GGUF/blob/a72bdbadb355ca3014f7f9d2585380917cc59971/convert.log) — получено 2026-10-02
4. [llama.cpp PR #29844: support nimble decision model](https://github.com/ggml-org/llama.cpp/pull/29844) — получено 2026-10-02
5. [llama.cpp PR #29818: /v1/systemone API](https://github.com/ggml-org/llama.cpp/pull/29818) — получено 2026-10-02
6. [GitHub compare: llama.cpp b11347 и Nimble commit](https://github.com/ggml-org/llama.cpp/compare/b11347...46ca246de9bb1c35269722a6240d37d9dfd79cad) — получено 2026-10-02
7. [Bespoke Labs: Decision Index v3 scores](https://huggingface.co/datasets/bespokelabs/bespoke-nimble-9b-v3-decision-index/blob/654b124d3508a7da0d849405744bde80c4bb1a1b/runs/bespoke-nimble-9b-v3/scores.json) — получено 2026-10-02
8. [Bespoke Labs: evaluation environment](https://huggingface.co/datasets/bespokelabs/bespoke-nimble-9b-v3-decision-index/blob/654b124d3508a7da0d849405744bde80c4bb1a1b/runs/bespoke-nimble-9b-v3/environment.json) — получено 2026-10-02
9. [Qwen3.5-9B: модель-основа и лицензия](https://huggingface.co/Qwen/Qwen3.5-9B/tree/c202236235762e1c871ad0ccb60c8ee5ba337b9a) — получено 2026-10-02