Jev-Style 2B Decision v3: локальные решения в GGUF и MLX

Зачем это локально

На вход подаются состояние и вопрос с вариантами; на выходе — вероятность каждого заданного варианта. Поддерживаются choice (выбор), noul (да/нет) и score (упорядоченные уровни). Применения — распределение обращений, классификация событий, правила маршрутизации и оценка риска там, где свободный текст не нужен. Модель не генерирует произвольный ответ и не заменяет чат-ассистента. Общий бюджет состояния, вопросов и вариантов — 25 600 токенов по карточке автора; превышение вызывает ошибку, а не молчаливую обрезку. s1

Важное отличие GGUF: файлы загружаются средствами llama.cpp, но для решения нужен поставляемый автором jev-score-v2 на libllama: он читает специальные позиции вариантов и реализует блочное внимание. Обычный llama-cli или чат в Ollama не воспроизводят этот режим. Скорер предыдущей 0.8B-версии для нового релиза также не подходит. MLX требует mlx-lm 0.31.3; в пакете MLX лежат два разных каталога bf16 и 8bit, а не один универсальный файл. s2 s3 s4

Что скачать и как запустить

PyTorch-репозиторий содержит 3,76 GB весовых файлов. GGUF предлагает F16 — 3,78 GB, Q8_0 — 2,01 GB и Q4_K_M — 1,27 GB. MLX предлагает bf16 — 3,76 GB и 8-bit — 2,00 GB; это размеры файлов, не требования к RAM или VRAM. Для Apple Silicon удобен MLX, а при GGUF сначала нужно собрать скорер по инструкции карточки; PyTorch-скрипт автора поддерживает CPU и MPS. Наличие CUDA в коде не означает, что автор проверил CUDA для этого релиза. s1 s2 s3

Для локального API автор документирует:

pip install 'jev-style[torch]'
jev-style serve --release 2b

На Apple Silicon для MLX вместо [torch] указан [mlx]. Для GGUF требуется отдельная сборка jev-score-v2, а при выборе этого бэкенда — параметр --scorer с путём к бинарному файлу: без него не стоит выдавать GGUF за готовый чат-сервер. Зависимости и закреплённые ревизии сверяйте с документацией runtime, если развёртывание требует воспроизводимости. Мы не скачивали многогигабайтные веса и не запускали модель на оборудовании Modelium. s2 s4

Что показывают проверки автора

В eval_results.json указан собственный прогон официального harness JevBench v1.4.1 на 231 публичном задании: 170 правильных (73,6%), из них на hard-части — 53 из 111 (47,7%). Это не официальная запись лидерборда и не независимая проверка. Автор использовал GGUF F16, один глобальный коэффициент температуры, подогнанный вне benchmark, и один заранее заявленный прогон; 95-процентный интервал для публичной доли — 67,6–78,9%. Поэтому нельзя утверждать статистическое превосходство над другим 2B-вариантом с 71,0%: его оценка попадает в этот интервал. Приведённые в карточке сравнения с другими системами — данные чужого leaderboard, а не одинаковый новый тест всех моделей. s1 s5

Отдельный авторский тест сравнивает совпадение решений разных форматов с PyTorch FP32 на 1000 development-строках до 4096 токенов: F16 GGUF — 100%, Q8_0 — 99,7%, Q4_K_M — 95,7%, MLX bf16 — 99,7%, MLX 8-bit — 99,6%. Это не JevBench и не показатель общей точности. В длинном проверочном наборе из 43 вопросов Q4_K_M разошёлся с эталоном на одном вопросе: сам машинно-читаемый отчёт помечает оценку порога снижения точности на таком малом наборе как INCONCLUSIVE, хотя итоговый release verdict опирается на более крупный набор. Для длинных документов автор советует F16 или Q8_0; 4-битный файл — компромисс по совпадению вероятностей. s1 s6

Скоростные цифры в карточке — авторские медианы на M1 Max с 64 GB при macOS 15.7.5 и фоновой нагрузке: это не минимальная конфигурация и не гарантия задержки на другом Mac. s1

Лицензия и границы использования

Все три пакета помечены Apache-2.0, а базовая Qwen3.5-2B тоже указана с Apache-2.0; лицензия разрешает коммерческое использование при соблюдении её условий уведомления и сохранения текста лицензии. Открытые веса не означают, что любой сторонний inference-клиент автоматически умеет выполнять специальный readout этой модели. Для рабочего процесса важнее проверить scorer, формат входа и качество именно на собственных типизированных задачах, чем сравнивать одно число с генеративным LLM. s1 s2 s3 s7