Jebadiah 9B v2: локальные решения в GGUF и MLX

Как запустить локально

Для полной версии разработчик предоставляет Python-сервер с POST /v1/systemone и браузерной формой. Пример из его документации; Modelium не проверял запуск на собственном оборудовании s1 s6:

git clone https://github.com/getainode/jebadiah.git
cd jebadiah/server
uv sync
uv run hf download frontier-infra/jebadiah-9b-v2
uv run jebadiah-serve --model frontier-infra/jebadiah-9b-v2

Сервер по умолчанию слушает 127.0.0.1:8000; для CUDA в документации указан uv sync --extra cuda. Авторы предлагают и самостоятельный скрипт для Transformers; в документации он закреплён на версии transformers==5.17.0. Указанная ими конфигурация обучения на A100 не является минимальным требованием к запуску s1 s6.

Если нужен GGUF, берите llama-server и авторский scripts/decide_gguf.py, а не обычный чат-интерфейс: чтобы получить распределение по меткам, скрипт читает логарифмические вероятности токенов в позиции ответа и применяет температурные коэффициенты. Авторы проверяли llama.cpp v0.5.0; более старый исполняемый файл может не знать архитектуру qwen35. Команды для Q8_0 из карточки пакета s3:

hf download frontier-infra/jebadiah-9b-v2-GGUF --include "*Q8_0.gguf" "scripts/*" "*.json" "*.jinja" "*.txt" --local-dir jebadiah-9b-v2-GGUF
cd jebadiah-9b-v2-GGUF
llama-server -m jebadiah-9b-v2-Q8_0.gguf -c 4096 -np 1 --port 8080
pip install transformers
python scripts/decide_gguf.py --server http://127.0.0.1:8080 --request scripts/example-request.json

Для Apple Silicon опубликован только MLX 8-bit. По инструкции разработчика требуются mlx-lm>=0.31, загрузка 8bit/*, scripts/* и temperatures.json, затем python scripts/decide_mlx.py --model 8bit --request scripts/example-request.json. 4-битный MLX-вариант автор измерил, но удалил из открытого пакета из-за расхождения решений. Не считайте наличие файла GGUF в LM Studio или Ollama гарантией, что их обычный чат-API вернёт нужные вероятности меток s4 s5.

Что показывают замеры — и чего они не показывают

По оценке самих авторов, макро-точность на описанных публичных zero-shot наборах выросла с 73,3 у 9B v1 до 73,9 у 9B v2; у опубликованной 4B v2 в том же сравнении — 72,5. Улучшение невелико и неоднородно: на публичных 13 поднаборах Nimble макро-результат 9B не изменился (77,0), на одном наборе ECE ухудшилась с 0,063 до 0,085, а тест устойчивости к постороннему содержимому ещё не завершён. HelpSteer2 и SummEval нельзя называть полностью zero-shot: модель видела обучающую часть или связанные материалы, хотя авторы заявляют об исключении тестовых элементов s1 s7.

На авторской фиксированной выборке из 260 вопросов Q8_0 совпал с BF16 по выбранной метке на 257, Q5_K_M — на 250, Q4_K_M — на 240; MLX 8-bit — на 256. Это сравнение решений после квантования с BF16, не точность относительно человеческой разметки и не независимый тест Modelium. Для оценок риска важно сравнивать не только совпадение класса, но и сдвиг вероятностей; карточка GGUF сообщает максимальные расхождения вероятностей до 0,051 у Q8_0 и до 0,415 у Q4_K_M на этой выборке. Проверяйте свои примеры, пороги уверенности и передачу спорных случаев человеку до использования в автоматическом процессе s3 s4.

Весовые репозитории и исходная Qwen/Qwen3.5-9B помечены Apache-2.0; это разрешительная лицензия на опубликованные веса при соблюдении её условий, а не универсальная лицензия на каждый датасет из обучения или оценки. Квантизированные файлы доступны без запроса доступа. Размер GGUF-файла сам по себе не определяет минимальную RAM или VRAM для вашего сценария: контекст, сервер и другие процессы требуют дополнительной памяти s1 s3 s4 s8.