Jebadiah 27B: локальные решения в GGUF и MLX

Что означают цифры

Разработчик сообщает о 78,9% сводной точности на выбранных публичных наборах против 73,9% для Jebadiah 9B v2. Это измерения автора AINode: он считывал логиты вариантов, использовал одинаковый шаблон запроса, а отдельные тестовые строки HelpSteer2 и SummEval относятся к знакомым модели рубрикам, хотя сами тестовые примеры исключались из обучения. 27B не выигрывает у 9B v2 на каждом наборе: Jevals PubMedQA 90,0% против 90,3%; на части наборов калибровка хуже. Независимых испытаний Modelium нет s1 s5.

Для 260 фиксированных вопросов автор сравнил квантованные версии со слитой BF16: GGUF Q8_0 — 260/260, Q5_K_M — 255/260, Q4_K_M — 258/260 совпадений по выбранному ответу; MLX 8-bit — 259/260, MLX 4-bit — 248/260. Порядок Q4 и Q5 в этом тесте не доказывает, что Q4 в целом точнее. Даже когда выбранный класс совпал, вероятности могли сдвинуться; для MLX 4-bit автор отмечает 12 изменённых ответов и максимальный сдвиг вероятности около 0,18. Проверяйте калибровку на собственных размеченных запросах, особенно если решение зависит от порога s3 s4 s5.

Как запустить локально

Для полного чекпойнта разработчик публикует Python-сервер с POST /v1/systemone, POST /v1/decide и локальной веб-формой. Его пример ниже; Modelium эти команды на своём оборудовании не запускал. Python 3.12 и uv нужны по инструкции автора, --extra cuda — дополнительный вариант для CUDA s1 s6:

git clone https://github.com/getainode/jebadiah.git
cd jebadiah/server
uv sync
uv run hf download frontier-infra/jebadiah-27b
uv run jebadiah-serve --model frontier-infra/jebadiah-27b

Для GGUF берите llama-server вместе с авторским скриптом считывания логитов, а не обычный чат: требуется вероятность каждого варианта, а не свободная генерация. Автор проверял с llama.cpp v0.5.0; более старые сборки могут не распознать архитектуру qwen35. Пример для Q8_0 s3:

hf download frontier-infra/jebadiah-27b-GGUF --include '*Q8_0.gguf' 'scripts/*' '*.json' '*.jinja' '*.txt' --local-dir jebadiah-27b-GGUF
cd jebadiah-27b-GGUF
llama-server -m jebadiah-27b-Q8_0.gguf -c 4096 -np 1 --port 8080
pip install transformers
python scripts/decide_gguf.py --server http://127.0.0.1:8080 --request scripts/example-request.json

На Apple Silicon опубликованы отдельные папки 8bit/ и 4bit/; карточка предлагает mlx-lm>=0.31 и scripts/decide_mlx.py. Четырёхбитная версия заметно меняет часть решений, поэтому для чувствительных пороговых сценариев выбирайте формат после собственной проверки. LM Studio-клиент разработчика проверен на 9B, но ещё не на 27B; Ollama для этого способа получения логитов автор не проверял. Не представляйте эти режимы как испытанные Modelium s3 s4.

Лицензия и ограничения

В репозиториях весов есть файл LICENSE Apache-2.0; исходная Qwen/Qwen3.8-27B тоже отмечена Apache-2.0. Это позволяет коммерческое использование при соблюдении условий лицензии, но не превращает внешние датасеты и все связанные инструменты в один лицензируемый пакет: у оценочных наборов собственные условия. В карточке отдельно указаны английский язык данных, ограничение одношаговых задач и отсутствие выполненного для 27B теста устойчивости к нерелевантному содержимому. Указанный H200 — конфигурация обучения, не минимальное требование для инференса s1 s5 s7.