# Jebadiah 9B v2: локальные решения в GGUF и MLX

Источник: https://modelium.tech/zhurnal/jebadiah-9b-v2-gguf-mlx-local-decisions/

Frontier Infra загрузила слитые BF16-веса Jebadiah 9B v2 25 сентября, а 26 сентября 2026 года — три GGUF-квантизации и 8-битную MLX-версию. Модель возвращает вероятности заданных вариантов, а не генерирует ответ: её можно использовать для локальной маршрутизации заявок и классификации. В опубликованном авторском сравнении Q8_0 сохраняет ответ BF16 на 257 из 260 вопросов, Q4_K_M — на 240. Это не гарантия качества на ваших данных; пороги и ошибки нужно проверять отдельно.

## Что изменилось

25 сентября 2026 года Frontier Infra загрузила слитые BF16-веса **Jebadiah 9B v2** — адаптации чат-чекпойнта `Qwen/Qwen3.5-9B`. По сравнению с 9B v1, обученным на `Qwen/Qwen3.5-9B-Base`, авторы сменили базу, сохранив данные, LoRA, целевую функцию и температурную калибровку. 26 сентября появились официальные GGUF-файлы `Q4_K_M`, `Q5_K_M`, `Q8_0` и MLX-пакет `8bit/` для Apple Silicon. История коммитов подтверждает загрузку весов, а не только правку карточки [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s4](#src-s4) [s5](#src-s5).

Это не чат-бот. Jebadiah за один проход оценивает вероятности вариантов, которые вы перечислили в запросе: `choice` выбирает категорию, `noul` оценивает вероятность «да», `score` работает с порядковой шкалой. Практический сценарий — маршрутизация обращений или первичная оценка документа внутри своей инфраструктуры; окончательное решение и обработка неуверенных ответов остаются за вашим приложением. Модель обучалась на английских данных, рассчитана на одношаговые решения, а публичный API `/v1/systemone` ограничивает `choice` двадцатью вариантами [s1](#src-s1) [s6](#src-s6).

## Как запустить локально

Для полной версии разработчик предоставляет Python-сервер с `POST /v1/systemone` и браузерной формой. Пример из его документации; **Modelium не проверял запуск на собственном оборудовании** [s1](#src-s1) [s6](#src-s6):

git clone https://github.com/getainode/jebadiah.gitcd jebadiah/serveruv syncuv run hf download frontier-infra/jebadiah-9b-v2uv run jebadiah-serve --model frontier-infra/jebadiah-9b-v2

Сервер по умолчанию слушает `127.0.0.1:8000`; для CUDA в документации указан `uv sync --extra cuda`. Авторы предлагают и самостоятельный скрипт для Transformers; в документации он закреплён на версии `transformers==5.17.0`. Указанная ими конфигурация обучения на A100 не является минимальным требованием к запуску [s1](#src-s1) [s6](#src-s6).

Если нужен GGUF, берите `**llama-server**`** и авторский **`**scripts/decide_gguf.py**`, а не обычный чат-интерфейс: чтобы получить распределение по меткам, скрипт читает логарифмические вероятности токенов в позиции ответа и применяет температурные коэффициенты. Авторы проверяли `llama.cpp` v0.5.0; более старый исполняемый файл может не знать архитектуру `qwen35`. Команды для Q8_0 из карточки пакета [s3](#src-s3):

hf download frontier-infra/jebadiah-9b-v2-GGUF --include "*Q8_0.gguf" "scripts/*" "*.json" "*.jinja" "*.txt" --local-dir jebadiah-9b-v2-GGUFcd jebadiah-9b-v2-GGUFllama-server -m jebadiah-9b-v2-Q8_0.gguf -c 4096 -np 1 --port 8080pip install transformerspython scripts/decide_gguf.py --server http://127.0.0.1:8080 --request scripts/example-request.json

Для Apple Silicon опубликован **только MLX 8-bit**. По инструкции разработчика требуются `mlx-lm>=0.31`, загрузка `8bit/*`, `scripts/*` и `temperatures.json`, затем `python scripts/decide_mlx.py --model 8bit --request scripts/example-request.json`. 4-битный MLX-вариант автор измерил, но удалил из открытого пакета из-за расхождения решений. Не считайте наличие файла GGUF в LM Studio или Ollama гарантией, что их обычный чат-API вернёт нужные вероятности меток [s4](#src-s4) [s5](#src-s5).

## Что показывают замеры — и чего они не показывают

По **оценке самих авторов**, макро-точность на описанных публичных zero-shot наборах выросла с 73,3 у 9B v1 до 73,9 у 9B v2; у опубликованной 4B v2 в том же сравнении — 72,5. Улучшение невелико и неоднородно: на публичных 13 поднаборах Nimble макро-результат 9B не изменился (77,0), на одном наборе ECE ухудшилась с 0,063 до 0,085, а тест устойчивости к постороннему содержимому ещё не завершён. HelpSteer2 и SummEval нельзя называть полностью zero-shot: модель видела обучающую часть или связанные материалы, хотя авторы заявляют об исключении тестовых элементов [s1](#src-s1) [s7](#src-s7).

На авторской фиксированной выборке из **260 вопросов** Q8_0 совпал с BF16 по выбранной метке на 257, Q5_K_M — на 250, Q4_K_M — на 240; MLX 8-bit — на 256. Это сравнение решений после квантования с BF16, **не** точность относительно человеческой разметки и не независимый тест Modelium. Для оценок риска важно сравнивать не только совпадение класса, но и сдвиг вероятностей; карточка GGUF сообщает максимальные расхождения вероятностей до 0,051 у Q8_0 и до 0,415 у Q4_K_M на этой выборке. Проверяйте свои примеры, пороги уверенности и передачу спорных случаев человеку до использования в автоматическом процессе [s3](#src-s3) [s4](#src-s4).

Весовые репозитории и исходная `Qwen/Qwen3.5-9B` помечены **Apache-2.0**; это разрешительная лицензия на опубликованные веса при соблюдении её условий, а не универсальная лицензия на каждый датасет из обучения или оценки. Квантизированные файлы доступны без запроса доступа. Размер GGUF-файла сам по себе не определяет минимальную RAM или VRAM для вашего сценария: контекст, сервер и другие процессы требуют дополнительной памяти [s1](#src-s1) [s3](#src-s3) [s4](#src-s4) [s8](#src-s8).

## Источники

1. [Frontier Infra: Jebadiah 9B v2, карточка и полные BF16-веса](https://huggingface.co/frontier-infra/jebadiah-9b-v2/tree/34b32571cdd07232c4833a68535730e025922a0d) — получено 2026-09-26
2. [Hugging Face: история загрузки Jebadiah 9B v2](https://huggingface.co/api/models/frontier-infra/jebadiah-9b-v2/commits/main) — получено 2026-09-26
3. [Frontier Infra: Jebadiah 9B v2 GGUF и сравнение квантизаций](https://huggingface.co/frontier-infra/jebadiah-9b-v2-GGUF/tree/7d42e7acd9d939ef587b4124026143229ab4b714) — получено 2026-09-26
4. [Frontier Infra: Jebadiah 9B v2 MLX 8-bit](https://huggingface.co/frontier-infra/jebadiah-9b-v2-MLX/tree/6401f9c26c1e0b1f1f612512a10dcfd39157b8f3) — получено 2026-09-26
5. [Hugging Face: история GGUF и MLX-пакетов](https://huggingface.co/api/models/frontier-infra/jebadiah-9b-v2-MLX/commits/main) — получено 2026-09-26
6. [getainode/jebadiah: локальный сервер и API](https://github.com/getainode/jebadiah/blob/74a0cd92965529e90a411532e9887b544c931b2d/server/README.md) — получено 2026-09-26
7. [Frontier Infra: полные авторские результаты Jebadiah 9B v2](https://huggingface.co/frontier-infra/jebadiah-9b-v2/blob/34b32571cdd07232c4833a68535730e025922a0d/eval/RESULTS.md) — получено 2026-09-26
8. [Qwen: исходная модель Qwen3.5-9B и лицензия](https://huggingface.co/Qwen/Qwen3.5-9B/tree/c202236235762e1c871ad0ccb60c8ee5ba337b9a) — получено 2026-09-26