# JevK5 выпустил GGUF для локальных решений: 2B и 4B через llama.cpp

Источник: https://modelium.tech/zhurnal/jevk5-gguf-2b-4b-local-typed-decisions/

23 сентября автор JevK5 загрузил три GGUF-чекпойнта: 4B в Q8_0 и Q4_K_M, а также 2B в Q8_0. Они позволяют получать вероятности вариантов ответа локально через llama-server и отдельный клиент для чтения логарифмических вероятностей токенов. Автор сравнил квантизации с BF16 на 231 публичной задаче JevBench; это не независимая оценка самих GGUF.

JevK5 получил GGUF-версии 2B и 4B для локальных типизированных решений

23 сентября 2026 года автор JevK5 разместил на Hugging Face три готовых файла GGUF: **4B Q8_0**, **4B Q4_K_M** и **2B Q8_0**. Пакеты основаны на отдельных чекпойнтах JevK5 и JevK5-2B, а не являются новой базовой моделью Qwen. История HF фиксирует загрузку файлов 23 сентября; обновление карточки 24 сентября добавило раскрытие состава обучающих данных, а не новые веса. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

JevK5 решает задачи с ограниченным набором вариантов: по документу и вопросу возвращает распределение вероятностей для выбора, ответа да/нет или оценки по шкале. Это полезно для локальной маршрутизации обращений и проверок по правилам, когда приложению нужны структурированные варианты и уверенность, а не свободный текст. Система использует логарифмические вероятности следующих токенов — букв вариантов — и калибровочную температуру; обычная генерация через `generate()` **не даёт того же специализированного ответа**. Автор не связан с TypeSafe AI и не публикует веса Jev. [s3](#src-s3) [s4](#src-s4)

## Какие файлы доступны

По закреплённому дереву HF три весовых файла имеют размеры 4 482 402 656 байт (4B Q8_0), 2 708 803 936 байт (4B Q4_K_M) и 2 012 012 000 байт (2B Q8_0). Это **размеры загрузки**, не требования к оперативной или видеопамяти: контекст, KV-кеш и выгрузка слоёв также потребляют ресурсы. 2B Q4_K_M автор сознательно не опубликовал: по его измерениям, падение качества на сложном публичном подмножестве оказалось слишком большим. [s1](#src-s1) [s3](#src-s3)

По собственному прогону автора на 231 публичном задании JevBench ответ 4B Q8_0 совпал с BF16 в 228 случаях, 4B Q4_K_M — в 219, а 2B Q8_0 — в 226 случаях по сравнению со своим 2B BF16. Это **авторская проверка квантизации**, не независимое испытание GGUF и не гарантия качества в рабочих сценариях. Q4 меняет больше ответов, чем Q8; уменьшение файла не означает сохранение исходных вероятностей для каждого кейса. [s3](#src-s3)

## Как запустить

Нужна версия `llama.cpp` с поддержкой гибридной архитектуры Qwen3.5. Автор сообщает, что собирал и проверял GGUF на коммите `9575389`; в примере использует `llama-server`:

llama-server --hf-repo alibiserikbay/JevK5-GGUF --hf-file jevk5-2b-v0.2-Q8_0.gguf -c 8192 -ngl 99

Далее следует обратиться к серверу через `JevK5GGUF` из авторского проекта либо реализовать эквивалентное чтение вероятностей букв из `/tokenize` и `/completion`. Для 2B нужна температура **1.42**, а значение по умолчанию клиента **1.532** относится к 4B. Флаг `-ngl` и длину контекста нужно подбирать под свою систему; команда не является подтверждённым минимальным требованием к GPU. Автор тестировал `llama-server`, но не подтвердил, что другие приложения на базе llama.cpp отдают нужные logprobs для этого протокола. На CPU и Apple Silicon замеры скорости в карточке также принадлежат автору, а не Modelium. [s3](#src-s3) [s5](#src-s5)

## Лицензия и пределы оценок

Карточки JevK5 и GGUF отмечены **Apache-2.0**, как и код авторского runtime; исходные Qwen3.5-4B и 2B тоже опубликованы под Apache-2.0. Это открытые веса и код с условиями лицензии, допускающими коммерческое применение при их соблюдении, но не свидетельство независимого аудита обучения или безопасности решений. В GGUF-репозитории нет отдельного файла LICENSE: перед перераспространением стоит сверить тексты лицензий исходных моделей и проекта. [s1](#src-s1) [s4](#src-s4) [s6](#src-s6) [s7](#src-s7) [s8](#src-s8)

Отдельно: в независимом JevBench v1.4 **основная 4B BF16-модель**, а не новая GGUF-конверсия, получила второе место среди ранжированных систем с суммарным баллом 62.04. На 308 новых закрытых заданиях агрегированная точность составила 33.1% против 85.3% на 231 публичном; эти цифры характеризуют конкретный набор заданий и методику, не продуктовую надёжность. Часть осей скорости и стоимости была перенесена из прежнего раунда, а не измерена заново. [s9](#src-s9)

24 сентября автор отдельно признал, что в обучении v0.2 и 2B использованы **940 заданий из тестового набора MMLU-Pro**. По авторской оценке это завышает результат на виденных примерах; он обещает убрать их в следующей версии. Автор также описал совпадения формулировок в отдельном калибровочном наборе с публичными примерами JevBench. Не следует приравнивать результаты MMLU-Pro на этих заданиях к чистому тесту; в материалах проекта при этом утверждается, что сами задания JevBench не входили в обучение. Для решений с последствиями нужны собственные отложенные данные и ручная проверка ошибок. [s4](#src-s4) [s9](#src-s9) [s10](#src-s10)

## Источники

1. [JevK5-GGUF: закреплённый репозиторий, веса и метаданные](https://huggingface.co/alibiserikbay/JevK5-GGUF/tree/c57b064f8f4e5b4d7741db4c34ea0b4a2661349d) — получено 2026-09-24
2. [История JevK5-GGUF: загрузка 23 сентября и поправка 24 сентября](https://huggingface.co/api/models/alibiserikbay/JevK5-GGUF/commits/main) — получено 2026-09-24
3. [Авторская карточка JevK5-GGUF: файлы, запуск и сравнение квантизаций](https://huggingface.co/alibiserikbay/JevK5-GGUF/blob/c57b064f8f4e5b4d7741db4c34ea0b4a2661349d/README.md) — получено 2026-09-24
4. [Карточка исходной JevK5 4B и описание методики](https://huggingface.co/alibiserikbay/JevK5/blob/27d2d6b8d4714807f6293b0623bd7370b27e42f8/README.md) — получено 2026-09-24
5. [Исходный код клиента JevK5GGUF](https://github.com/allebee/jevk5/blob/8c3849eb5d917ae8c55773315a669d925fd64b93/jevk5/gguf.py) — получено 2026-09-24
6. [Лицензия Apache-2.0 проекта JevK5](https://github.com/allebee/jevk5/blob/8c3849eb5d917ae8c55773315a669d925fd64b93/LICENSE) — получено 2026-09-24
7. [Официальная карточка Qwen3.5-4B](https://huggingface.co/Qwen/Qwen3.5-4B) — получено 2026-09-24
8. [Официальная карточка Qwen3.5-2B и модель JevK5-2B](https://huggingface.co/Qwen/Qwen3.5-2B) — получено 2026-09-24
9. [JevBench v1.4: официальный агрегат результатов и методика](https://github.com/fstandhartinger/jevbench/blob/2fa63fa3226cb369795525ed011800f57dcbd894/results/v1.4/jevbench-v1.4-results.json) — получено 2026-09-24
10. [Changelog JevK5: поправка по MMLU-Pro и выпуск GGUF](https://github.com/allebee/jevk5/blob/8c3849eb5d917ae8c55773315a669d925fd64b93/CHANGELOG.md) — получено 2026-09-24