Bespoke Nimble 9B v3 появился в GGUF: локальные решения и нюанс сборки llama.cpp

Что именно выпустили

Исходная Bespoke-Nimble-9B-v3 — LoRA-адаптер к Qwen3.5-9B, а не самостоятельный полный чекпойнт. Карточка описывает вопросы типа выбора варианта или «да/нет» с вероятностями для каждого ответа. В GGUF-репозитории ggml-org доступны три полных отдельных файла: BF16 — 17 920 698 912 байт, Q8_0 — 9 527 503 392 байта, Q4_K_M — 6 324 185 632 байта. Это размеры файлов для загрузки, не минимальные требования к RAM или VRAM. Закреплённая ревизия GGUF — a72bdbadb355ca3014f7f9d2585380917cc59971; её служебный .src_sha указывает на ревизию адаптера 8e927b9b4afdbb14479fac10a7364d1a695be208. Журнал конвертации фиксирует тип nimble в метаданных GGUF и загрузку исходной Qwen3.5-9B. s1 s2 s3

Задача — локально распределять обращения по категориям, оценивать варианты действий и строить проверяемые ветвления без отправки самих данных во внешний API. Вероятности не заменяют проверку ошибок и калибровки на вашем корпусе; это не универсальная генеративная чат-модель.

Важная граница совместимости

Поддержка Nimble добавлена в llama.cpp отдельным PR #29844, слитым 2 октября в 12:56 UTC. Он дополняет предыдущий /v1/systemone для моделей принятия решений и добавляет распознавание Nimble при конвертации, метаданные типа модели и обработку вопросов сервером. Код PR прямо отмечает, что входные изображения для Nimble пока не поддержаны. s4 s5

Не ориентируйтесь только на время публикации бинарника. На момент этой проверки даже GitHub-тег b11347, релиз которого появился позже в тот же день, находится на 17 коммитов позади коммита Nimble 46ca246d; сравнение официальных GitHub-ревизий не позволяет считать этот пакет совместимым с Nimble. Проверяйте наличие PR #29844 в конкретном коммите используемой сборки. До появления тега, который включает этот коммит, практический путь — сборка актуального исходного дерева llama.cpp после 46ca246d и использование /v1/systemone с закреплённым GGUF-файлом. Это рекомендация по совместимости кода, а не отчёт о нашем тестовом запуске: Modelium не запускал модель и не измерял качество или скорость GGUF. s4 s6

Выбирайте квант по собственной проверке бюджета памяти и качества: Q4_K_M компактнее на диске, BF16 сохраняет исходную точность представления, но независимого сравнения точности трёх GGUF-файлов пока нет. Не переносите на кванты результат исходного адаптера без отдельного замера. s1 s7

Что говорят замеры автора — и чего не говорят

Bespoke Labs заявляет 56,88 в Decision Index 0.2.1 для исходного адаптера. Опубликованный протокол перечисляет 150 305 успешных запросов и 12 неподдержанных; окружение указывает PyTorch 2.8, Transformers 5.17, PEFT 0.21 и прогон 16 процессов на восьми NVIDIA H100 80GB. Это авторский тест исходной модели, не результат GGUF, не независимая проверка Modelium и не минимальная конфигурация локального запуска. Отдельные знаменатели набора заданий и обработанных запросов в артефактах не следует смешивать. s2 s7 s8

Права на использование

Карточки адаптера и GGUF отдельно указывают CC BY-NC 4.0: некоммерческое использование с атрибуцией при соблюдении условий лицензии. Исходная Qwen3.5-9B отмечена Apache-2.0, но это не отменяет некоммерческое ограничение адаптера и готового GGUF. Для коммерческого сервиса запрашивайте отдельное разрешение правообладателя; бесплатная загрузка не равна коммерческой лицензии. s1 s2 s9

Вывод: это полезный новый формат для локальной классификации и маршрутизации, особенно если нужен отдельный GGUF вместо связки базы и LoRA. Сначала проверьте ревизию runtime и лицензию, затем испытайте выбранный квант на собственных примерах; переносить авторскую оценку адаптера на локальную сборку нельзя.