# Jebadiah 27B: локальные решения в GGUF и MLX

Источник: https://modelium.tech/zhurnal/jebadiah-27b-gguf-mlx-local-decisions/

26 сентября 2026 года Frontier Infra выпустила Jebadiah 27B: слитые BF16-веса на базе Qwen3.8-27B, три GGUF-квантизации и MLX-версии 8/4-bit. Модель за один проход возвращает вероятности заранее заданных ответов, а не пишет текст. В авторской проверке GGUF Q8_0 сохранил выбор BF16 на всех 260 тестовых вопросах, MLX 4-bit — на 248 из 260. Это не гарантия точности или калибровки на ваших данных.

## Что вышло

**26 сентября 2026 года** Frontier Infra разместила слитые BF16-веса Jebadiah 27B — адаптации чат-чекпойнта `Qwen/Qwen3.8-27B` с выключенным режимом рассуждения. История репозитория подтверждает загрузку модельных шардов в 08:48 UTC; в тот же день появились авторские репозитории с GGUF `Q4_K_M`, `Q5_K_M`, `Q8_0` и MLX `4bit/`, `8bit/`. Размер на диске не равен проверенному минимуму RAM или VRAM: учитывайте служебные расходы runtime, контекст и выбранный способ размещения [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s4](#src-s4).

Это не замена чат-боту. Модель оценивает распределение вероятностей по заранее названным вариантам ответа за один проход: `choice` — выбрать класс, `noul` — вероятность «да», `score` — оценить порядковую шкалу. Например, можно маршрутизировать заявки между отделами на собственной машине и отправлять неуверенные случаи человеку. Пороги, допустимые ошибки и калибровка остаются задачей приложения. Данные обучения англоязычные, решение одношаговое, а интерфейс `/v1/systemone` ограничивает обычный `choice` двадцатью вариантами [s1](#src-s1).

## Что означают цифры

Разработчик сообщает о **78,9%** сводной точности на выбранных публичных наборах против **73,9%** для Jebadiah 9B v2. Это измерения автора AINode: он считывал логиты вариантов, использовал одинаковый шаблон запроса, а отдельные тестовые строки HelpSteer2 и SummEval относятся к знакомым модели рубрикам, хотя сами тестовые примеры исключались из обучения. 27B не выигрывает у 9B v2 на каждом наборе: Jevals PubMedQA 90,0% против 90,3%; на части наборов калибровка хуже. Независимых испытаний Modelium нет [s1](#src-s1) [s5](#src-s5).

Для 260 фиксированных вопросов автор сравнил квантованные версии со слитой BF16: **GGUF Q8_0 — 260/260**, Q5_K_M — 255/260, Q4_K_M — 258/260 совпадений по выбранному ответу; **MLX 8-bit — 259/260**, MLX 4-bit — 248/260. Порядок Q4 и Q5 в этом тесте не доказывает, что Q4 в целом точнее. Даже когда выбранный класс совпал, вероятности могли сдвинуться; для MLX 4-bit автор отмечает 12 изменённых ответов и максимальный сдвиг вероятности около 0,18. Проверяйте калибровку на собственных размеченных запросах, особенно если решение зависит от порога [s3](#src-s3) [s4](#src-s4) [s5](#src-s5).

## Как запустить локально

Для полного чекпойнта разработчик публикует Python-сервер с `POST /v1/systemone`, `POST /v1/decide` и локальной веб-формой. Его пример ниже; **Modelium эти команды на своём оборудовании не запускал**. Python 3.12 и `uv` нужны по инструкции автора, `--extra cuda` — дополнительный вариант для CUDA [s1](#src-s1) [s6](#src-s6):

git clone https://github.com/getainode/jebadiah.gitcd jebadiah/serveruv syncuv run hf download frontier-infra/jebadiah-27buv run jebadiah-serve --model frontier-infra/jebadiah-27b

Для GGUF берите `**llama-server**`** вместе с авторским скриптом считывания логитов**, а не обычный чат: требуется вероятность каждого варианта, а не свободная генерация. Автор проверял с llama.cpp v0.5.0; более старые сборки могут не распознать архитектуру `qwen35`. Пример для Q8_0 [s3](#src-s3):

hf download frontier-infra/jebadiah-27b-GGUF --include '*Q8_0.gguf' 'scripts/*' '*.json' '*.jinja' '*.txt' --local-dir jebadiah-27b-GGUFcd jebadiah-27b-GGUFllama-server -m jebadiah-27b-Q8_0.gguf -c 4096 -np 1 --port 8080pip install transformerspython scripts/decide_gguf.py --server http://127.0.0.1:8080 --request scripts/example-request.json

На Apple Silicon опубликованы отдельные папки `8bit/` и `4bit/`; карточка предлагает `mlx-lm>=0.31` и `scripts/decide_mlx.py`. Четырёхбитная версия заметно меняет часть решений, поэтому для чувствительных пороговых сценариев выбирайте формат после собственной проверки. LM Studio-клиент разработчика проверен на **9B**, но ещё не на 27B; Ollama для этого способа получения логитов автор не проверял. Не представляйте эти режимы как испытанные Modelium [s3](#src-s3) [s4](#src-s4).

## Лицензия и ограничения

В репозиториях весов есть файл `LICENSE` Apache-2.0; исходная `Qwen/Qwen3.8-27B` тоже отмечена Apache-2.0. Это позволяет коммерческое использование при соблюдении условий лицензии, но не превращает внешние датасеты и все связанные инструменты в один лицензируемый пакет: у оценочных наборов собственные условия. В карточке отдельно указаны английский язык данных, ограничение одношаговых задач и отсутствие выполненного для 27B теста устойчивости к нерелевантному содержимому. Указанный H200 — конфигурация обучения, **не минимальное требование для инференса** [s1](#src-s1) [s5](#src-s5) [s7](#src-s7).

## Источники

1. [Frontier Infra: Jebadiah 27B, карточка и полные веса](https://huggingface.co/frontier-infra/jebadiah-27b/tree/c68db2b5570f3c2bdab511088885a88bd8b3a814) — получено 2026-09-26
2. [Hugging Face: история загрузки Jebadiah 27B](https://huggingface.co/api/models/frontier-infra/jebadiah-27b/commits/main) — получено 2026-09-26
3. [Frontier Infra: GGUF Jebadiah 27B и авторская проверка](https://huggingface.co/frontier-infra/jebadiah-27b-GGUF/tree/dc8110f88c18bb3dd66c2919dd069d226c707419) — получено 2026-09-26
4. [Frontier Infra: Jebadiah 27B MLX 8-bit и 4-bit](https://huggingface.co/frontier-infra/jebadiah-27b-MLX/tree/d3e3dc195480547e25867ebdb450626fc00a9b1c) — получено 2026-09-26
5. [Frontier Infra: полные результаты оценивания Jebadiah 27B](https://huggingface.co/frontier-infra/jebadiah-27b/blob/c68db2b5570f3c2bdab511088885a88bd8b3a814/eval/RESULTS.md) — получено 2026-09-26
6. [getainode/jebadiah: локальный сервер](https://github.com/getainode/jebadiah/tree/main/server) — получено 2026-09-26
7. [Qwen: базовый чекпойнт Qwen3.8-27B](https://huggingface.co/Qwen/Qwen3.8-27B/tree/1d4bf0f2ff6012fd82039f2fa52739d0dd7c60c0) — получено 2026-09-26