# Jev-Style 2B Decision v3: локальные решения в GGUF и MLX

Источник: https://modelium.tech/zhurnal/jev-style-2b-v3-gguf-mlx-local-decisions/

27 сентября 2026 года вышла Jev-Style 2B Decision v3: специализированная модель на Qwen3.5-2B для локального выбора из заранее заданных ответов, с открытыми весами PyTorch, GGUF и MLX. Автор выпустил runtime jev-style 0.3.0; для GGUF необходим отдельный scorer, обычный чат с файлом не выдаст корректное решение. В авторской оценке JevBench модель получила 170 из 231 на публичной части; это не независимый тест Modelium и не результат официального leaderboard.

Jev-Style 2B v3: модель для локального выбора, а не чат-бот

**27 сентября 2026 года** опубликована Jev-Style-2B-Decision-v3 — новая версия специализированной модели на текстовой Qwen3.5-2B. В Hugging Face доступны отдельные репозитории с двумя Safetensors-шардами, GGUF F16/Q8_0/Q4_K_M и MLX bf16/8-bit. В тот же день опубликован runtime `jev-style` 0.3.0, который добавляет выбор релиза `--release 2b` и закреплённые сборки для трёх бэкендов; модель по умолчанию остаётся прежней 0.8B. Веса не надо путать с исходной Qwen: это отдельно обученная модель для типизированных решений. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s4](#src-s4)

## Зачем это локально

На вход подаются состояние и вопрос с вариантами; на выходе — вероятность каждого заданного варианта. Поддерживаются `choice` (выбор), `noul` (да/нет) и `score` (упорядоченные уровни). Применения — распределение обращений, классификация событий, правила маршрутизации и оценка риска там, где свободный текст не нужен. Модель не генерирует произвольный ответ и не заменяет чат-ассистента. Общий бюджет состояния, вопросов и вариантов — 25 600 токенов по карточке автора; превышение вызывает ошибку, а не молчаливую обрезку. [s1](#src-s1)

**Важное отличие GGUF:** файлы загружаются средствами llama.cpp, но для решения нужен поставляемый автором `jev-score-v2` на libllama: он читает специальные позиции вариантов и реализует блочное внимание. Обычный `llama-cli` или чат в Ollama не воспроизводят этот режим. Скорер предыдущей 0.8B-версии для нового релиза также не подходит. MLX требует mlx-lm 0.31.3; в пакете MLX лежат два разных каталога `bf16` и `8bit`, а не один универсальный файл. [s2](#src-s2) [s3](#src-s3) [s4](#src-s4)

## Что скачать и как запустить

PyTorch-репозиторий содержит 3,76 GB весовых файлов. GGUF предлагает F16 — 3,78 GB, Q8_0 — 2,01 GB и Q4_K_M — 1,27 GB. MLX предлагает bf16 — 3,76 GB и 8-bit — 2,00 GB; это размеры файлов, **не требования к RAM или VRAM**. Для Apple Silicon удобен MLX, а при GGUF сначала нужно собрать скорер по инструкции карточки; PyTorch-скрипт автора поддерживает CPU и MPS. Наличие CUDA в коде не означает, что автор проверил CUDA для этого релиза. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

Для локального API автор документирует:

pip install 'jev-style[torch]'jev-style serve --release 2b

На Apple Silicon для MLX вместо `[torch]` указан `[mlx]`. Для GGUF требуется отдельная сборка `jev-score-v2`, а при выборе этого бэкенда — параметр `--scorer` с путём к бинарному файлу: без него не стоит выдавать GGUF за готовый чат-сервер. Зависимости и закреплённые ревизии сверяйте с документацией runtime, если развёртывание требует воспроизводимости. Мы не скачивали многогигабайтные веса и не запускали модель на оборудовании Modelium. [s2](#src-s2) [s4](#src-s4)

## Что показывают проверки автора

В `eval_results.json` указан собственный прогон официального harness JevBench v1.4.1 на **231 публичном задании: 170 правильных (73,6%)**, из них на hard-части — 53 из 111 (47,7%). Это **не** официальная запись лидерборда и не независимая проверка. Автор использовал GGUF F16, один глобальный коэффициент температуры, подогнанный вне benchmark, и один заранее заявленный прогон; 95-процентный интервал для публичной доли — 67,6–78,9%. Поэтому нельзя утверждать статистическое превосходство над другим 2B-вариантом с 71,0%: его оценка попадает в этот интервал. Приведённые в карточке сравнения с другими системами — данные чужого leaderboard, а не одинаковый новый тест всех моделей. [s1](#src-s1) [s5](#src-s5)

Отдельный авторский тест сравнивает **совпадение решений разных форматов** с PyTorch FP32 на 1000 development-строках до 4096 токенов: F16 GGUF — 100%, Q8_0 — 99,7%, Q4_K_M — 95,7%, MLX bf16 — 99,7%, MLX 8-bit — 99,6%. Это не JevBench и не показатель общей точности. В длинном проверочном наборе из 43 вопросов Q4_K_M разошёлся с эталоном на одном вопросе: сам машинно-читаемый отчёт помечает оценку порога снижения точности на таком малом наборе как **INCONCLUSIVE**, хотя итоговый release verdict опирается на более крупный набор. Для длинных документов автор советует F16 или Q8_0; 4-битный файл — компромисс по совпадению вероятностей. [s1](#src-s1) [s6](#src-s6)

Скоростные цифры в карточке — авторские медианы на M1 Max с 64 GB при macOS 15.7.5 и фоновой нагрузке: это не минимальная конфигурация и не гарантия задержки на другом Mac. [s1](#src-s1)

## Лицензия и границы использования

Все три пакета помечены Apache-2.0, а базовая Qwen3.5-2B тоже указана с Apache-2.0; лицензия разрешает коммерческое использование при соблюдении её условий уведомления и сохранения текста лицензии. Открытые веса не означают, что любой сторонний inference-клиент автоматически умеет выполнять специальный readout этой модели. Для рабочего процесса важнее проверить scorer, формат входа и качество именно на собственных типизированных задачах, чем сравнивать одно число с генеративным LLM. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s7](#src-s7)

## Источники

1. [Jev-Style-2B-Decision-v3: основная карточка и исходные веса](https://huggingface.co/chaoliangUNSW/Jev-Style-2B-Decision-v3/tree/fbb9d676753876bb8285c725ee8c16253af45e3d) — получено 2026-09-27
2. [Jev-Style-2B-Decision-v3-GGUF: форматы и сборка scorer](https://huggingface.co/chaoliangUNSW/Jev-Style-2B-Decision-v3-GGUF/tree/78b1352e9b8132987f6f6744dc2d3f57947f5357) — получено 2026-09-27
3. [Jev-Style-2B-Decision-v3-MLX: пакеты bf16 и 8-bit](https://huggingface.co/chaoliangUNSW/Jev-Style-2B-Decision-v3-MLX/tree/b86e4cbc6f420f5d7d1691299d62db272934ebf4) — получено 2026-09-27
4. [jev-style 0.3.0: официальный GitHub-релиз runtime](https://github.com/lawrence3699/jev-style/releases/tag/v0.3.0) — получено 2026-09-27
5. [Машинно-читаемые результаты авторского JevBench](https://huggingface.co/chaoliangUNSW/Jev-Style-2B-Decision-v3/blob/fbb9d676753876bb8285c725ee8c16253af45e3d/eval_results.json) — получено 2026-09-27
6. [Конфигурация релиза и предзаявленные проверки форматов](https://huggingface.co/chaoliangUNSW/Jev-Style-2B-Decision-v3/blob/fbb9d676753876bb8285c725ee8c16253af45e3d/release_config.json) — получено 2026-09-27
7. [Базовая Qwen3.5-2B и её лицензия](https://huggingface.co/Qwen/Qwen3.5-2B/tree/15852e8c16360a2fea060d615a32b45270f8a8fc) — получено 2026-09-27