JevK5 выпустил GGUF для локальных решений: 2B и 4B через llama.cpp

Какие файлы доступны

По закреплённому дереву HF три весовых файла имеют размеры 4 482 402 656 байт (4B Q8_0), 2 708 803 936 байт (4B Q4_K_M) и 2 012 012 000 байт (2B Q8_0). Это размеры загрузки, не требования к оперативной или видеопамяти: контекст, KV-кеш и выгрузка слоёв также потребляют ресурсы. 2B Q4_K_M автор сознательно не опубликовал: по его измерениям, падение качества на сложном публичном подмножестве оказалось слишком большим. s1 s3

По собственному прогону автора на 231 публичном задании JevBench ответ 4B Q8_0 совпал с BF16 в 228 случаях, 4B Q4_K_M — в 219, а 2B Q8_0 — в 226 случаях по сравнению со своим 2B BF16. Это авторская проверка квантизации, не независимое испытание GGUF и не гарантия качества в рабочих сценариях. Q4 меняет больше ответов, чем Q8; уменьшение файла не означает сохранение исходных вероятностей для каждого кейса. s3

Как запустить

Нужна версия llama.cpp с поддержкой гибридной архитектуры Qwen3.5. Автор сообщает, что собирал и проверял GGUF на коммите 9575389; в примере использует llama-server:

llama-server --hf-repo alibiserikbay/JevK5-GGUF --hf-file jevk5-2b-v0.2-Q8_0.gguf -c 8192 -ngl 99

Далее следует обратиться к серверу через JevK5GGUF из авторского проекта либо реализовать эквивалентное чтение вероятностей букв из /tokenize и /completion. Для 2B нужна температура 1.42, а значение по умолчанию клиента 1.532 относится к 4B. Флаг -ngl и длину контекста нужно подбирать под свою систему; команда не является подтверждённым минимальным требованием к GPU. Автор тестировал llama-server, но не подтвердил, что другие приложения на базе llama.cpp отдают нужные logprobs для этого протокола. На CPU и Apple Silicon замеры скорости в карточке также принадлежат автору, а не Modelium. s3 s5

Лицензия и пределы оценок

Карточки JevK5 и GGUF отмечены Apache-2.0, как и код авторского runtime; исходные Qwen3.5-4B и 2B тоже опубликованы под Apache-2.0. Это открытые веса и код с условиями лицензии, допускающими коммерческое применение при их соблюдении, но не свидетельство независимого аудита обучения или безопасности решений. В GGUF-репозитории нет отдельного файла LICENSE: перед перераспространением стоит сверить тексты лицензий исходных моделей и проекта. s1 s4 s6 s7 s8

Отдельно: в независимом JevBench v1.4 основная 4B BF16-модель, а не новая GGUF-конверсия, получила второе место среди ранжированных систем с суммарным баллом 62.04. На 308 новых закрытых заданиях агрегированная точность составила 33.1% против 85.3% на 231 публичном; эти цифры характеризуют конкретный набор заданий и методику, не продуктовую надёжность. Часть осей скорости и стоимости была перенесена из прежнего раунда, а не измерена заново. s9

24 сентября автор отдельно признал, что в обучении v0.2 и 2B использованы 940 заданий из тестового набора MMLU-Pro. По авторской оценке это завышает результат на виденных примерах; он обещает убрать их в следующей версии. Автор также описал совпадения формулировок в отдельном калибровочном наборе с публичными примерами JevBench. Не следует приравнивать результаты MMLU-Pro на этих заданиях к чистому тесту; в материалах проекта при этом утверждается, что сами задания JevBench не входили в обучение. Для решений с последствиями нужны собственные отложенные данные и ручная проверка ошибок. s4 s9 s10