Bespoke Nimble 9B v2: локальные решения по схеме на базе Qwen3.5

Что изменилось и зачем это нужно

Приложение передаёт текстовый контекст и плоскую схему: логическое поле, список категорий или уровни оценки. Scorer смотрит на логиты допустимых токенов и возвращает выбранный вариант вместе с вероятностями; произвольное объяснение или вложенный JSON модель таким способом не генерирует. Сценарии — маршрутизация обращений, проверка условий в документе и оценка по заранее описанной шкале. Несколько полей обрабатываются независимо, поэтому логическую согласованность между ними проверяет само приложение. s1 s3

Адаптер v2 обучен, по данным авторов, на 4926 примерах за одну эпоху; базовая ревизия Qwen3.5-9B закреплена как c202236235762e1c871ad0ccb60c8ee5ba337b9a. В опубликованной ревизии адаптер adapter_model.safetensors занимает 173 188 512 байт, но это не полная модель и не требование к RAM/VRAM: базовые веса загружаются отдельно. В комплекте есть токенизатор, код скоринга, требования к зависимостям, provenance и сводки оценки. s1 s4

Пакет v2 принимает запросы до 8192 токенов и отвергает превышение, не обрезая контекст. Последний коммит расширил код serving с 26 до 255 вариантов для одного поля без изменения весов; при этом авторы прямо предупреждают, что предел описывает возможности кода, а не проверенное качество на каждом числе вариантов. Длинные названия ответов могут исчерпать окно раньше. Для большого списка нужна полная актуальная сборка с serving_schema.py и extended_schema.py, а не только замена файла весов. s1 s2

Как попробовать локально

Карточка содержит команду hf download bespokelabs/Bespoke-Nimble-9B-v2 --local-dir ./Bespoke-Nimble-9B-v2, зафиксированный requirements.txt и пример ParallelScorer(model_dir).score(context=..., schema=...). Референсный путь рассчитан на Python 3.11 и CUDA GPU с BF16; авторский измерительный прогон проводился на H100 80 GB, но это не объявленный минимум оборудования. Другие способы запуска не следует предполагать совместимыми без проверки. Вместе с адаптером потребуется скачать базовый Qwen/Qwen3.5-9B соответствующей ревизии. s1 s4

По умолчанию scorer применяет к вероятностям температуру 2.179078721266035: softmax(logits / T). Это постобработка, а не температура генерации и не параметр внутри LoRA. Значение перенесено с исходной модели и не подбиралось на v2. Если загрузить только адаптер в другом runtime и применить обычный softmax при T=1, вероятности будут иными; изменение температуры не меняет наиболее вероятный ответ, но меняет пороги и ожидаемые баллы. Сверяйте локальную версию загрузчика и настраивайте пороги на собственных данных. s1 s5

Насколько обоснованы показатели

В приложенной авторской сводке указана точность 82,7% на 324 примерах собственного held-out набора и 82,6% на 534 синтетических задачах прокси-набора. Второй набор не является официальным JevBench. Это результаты авторов, а не тест Modelium; сводка рассчитана при T=1, поэтому не подтверждает качество вероятностей при новом значении T. Авторы отдельно сообщают, что held-out примеры многократно просматривались в ходе разработки, тест на широких списках вариантов не проводился, а перед публикацией этого пакета не делали нового GPU-прогона. Поэтому переносимость показателей на вашу задачу и калибровку нужно измерять самостоятельно. s1 s5 s6

Лицензия и границы. Репозиторий адаптера и базовая модель отмечены Apache 2.0; в пакете адаптера присутствует текст LICENSE. Это два отдельных набора файлов и условий, не основание называть всю экосистему или данные обучения открытым исходным кодом. Проверьте условия обоих источников при распространении своей сборки. Ни локальный выбор ответов, ни высокий балл на авторском наборе не заменяют проверки ошибок и правил для чувствительных решений. s1 s7