Qev-9B: открытые веса модели для выбора вариантов на базе Qwen3.5

Для чего использовать локально

Практические сценарии — маршрутизация обращения к отделу, выбор правила по контексту и выставление оценки по явно заданной шкале. Для этого нужен полный стек Qev, а не загрузка LoRA в обычный чат-интерфейс: кроме адаптера используются голова выбора, механизм взаимодействия и специальный формат запроса. В коде доступны Python API и JSONL-интерфейс; документация предполагает Python 3.12, совместимую сборку PyTorch 2.8 и устройство cuda. Modelium не запускал инференс и не проверял совместимость на конкретной видеокарте. У репозитория кода на момент проверки есть доступный commit 509ccf9, но отдельного GitHub release/tag v0.1.0 не найдено; v0.1.0 — доступная закреплённая ревизия весов на HF. Если повторяете пример, фиксируйте ревизию кода и весов, а не полагайтесь на изменяемый main. s1 s2

Один из документированных вызовов после установки проекта из исходников — Qev.from_pretrained("AustinFu/Qev-9B", revision="v0.1.0", device="cuda"), затем predict с полями state и questions. Метод и аргумент revision присутствуют в опубликованном исходном коде; это рецепт авторов, а не результат проверки на оборудовании редакции. Перед использованием в рабочих правилах измерьте качество и калибровку на своих примерах, включая неоднозначные варианты и сдвиг входных данных. s1 s2

Лицензия и пределы замеров

Для Qev-кода и опубликованной адаптации указан Apache-2.0; в обоих репозиториях доступны LICENSE/NOTICE. Базовая Qwen3.5-9B-Base отдельно помечена Apache-2.0 и присутствует по закреплённой ревизии. Это открытые компоненты для самостоятельного использования с условиями лицензий; авторы отдельно оговаривают, что полный исследовательский обучающий корпус не распространяется, а исходные наборы данных имеют собственные условия. s1 s2 s3

По benchmarks.json, Qev-9B правильно ответила на 188 из 231 заданий публичного JevBench (81,39% argmax accuracy); для Kev-9B в авторской таблице — 175 из 231. Это результат авторских прогонов, а не независимый тест Modelium или официальный совокупный балл JevBench. Qev использует BF16 для основы и FP32 для головы и ключевых редукций, Kev в этом сравнении — FP32; отличаются реализации и условия оценки. Авторы указывают один seed и наблюдение публичных тестов при разработке: цифры не изолируют эффект архитектуры и не доказывают надёжность вероятностей в продакшене. Не смешивайте также clean- и all-выборки при сравнении таблиц. s1 s4

Есть техническая тонкость для воспроизведения: опубликованный model.json задаёт обученные лимиты max_state=1024 и max_path=2048, тогда как протокол отдельного публичного benchmark в provenance.json использует лимиты 4096/4096. Поэтому параметры сравнительного прогона нельзя без проверки переносить в повседневный пример запуска. Следующий полезный шаг — сначала протестировать Qev на своём наборе размеченных маршрутов с закреплёнными весами и кодом, а уже потом выбирать порог автоматического решения или передачу человеку. s1 s4