# Jebadiah 4B v2: локальные решения с GGUF и MLX Источник: https://modelium.tech/zhurnal/jebadiah-4b-v2-gguf-mlx-local-decisions/ Frontier Infra загрузила слитые BF16-веса Jebadiah 4B v2 25 сентября, а 26 сентября 2026 года — GGUF и MLX-квантизации. Модель не пишет длинный ответ: она оценивает вероятности заданных вариантов для маршрутизации обращений, проверки условия или балльной шкалы. Авторы дают локальный сервер и скрипты для llama.cpp и Apple Silicon. На их выборке сильное сжатие меняет часть решений; перед автоматизацией нужен тест на собственных данных. ## Что выпустили 25 сентября 2026 года Frontier Infra загрузила **Jebadiah 4B v2** — полные слитые BF16-веса адаптации `Qwen/Qwen3.5-4B`. 26 сентября вышли собственные GGUF-варианты `Q4_K_M`, `Q5_K_M`, `Q8_0` и MLX-пакеты 4-bit/8-bit для Apple Silicon. Ревизии, файлы весов и даты загрузки проверены по истории и дереву Hugging Face; дальнейшая правка карточки не выдана за выпуск новых весов [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s4](#src-s4) [s5](#src-s5). Вместо генерации текста модель за один проход оценивает заданные метки: **choice** выбирает категорию, **noul** оценивает вероятность «да», **score** распределяет вероятность по упорядоченной шкале. Это подходит для локальной маршрутизации заявок и предварительного отбора документов: состояние остаётся в вашей инфраструктуре, а пороги уверенности и отправку спорных случаев человеку задаёт приложение. Модель обучалась на английском; авторы ограничивают выбор до 20 вариантов в `/v1/systemone` и предупреждают, что это решения одного шага, не цепочки рассуждений [s1](#src-s1) [s6](#src-s6). В v2 по сравнению с 4B v1 изменили базу: вместо `Qwen/Qwen3.5-4B-Base` использовали чат-чекпойнт `Qwen/Qwen3.5-4B`. По карточке, обучающие данные, LoRA, целевая функция и температурная калибровка сохранены. Полный BF16-чекпойнт состоит из двух Safetensors-шардов; размеры файлов не равны минимальным требованиям к RAM/VRAM [s1](#src-s1) [s2](#src-s2). ## Как запустить локально Для BF16 автор публикует отдельный сервер на Python 3.12 с API `/v1/systemone`, браузерной формой и возможностью задать ключ доступа. Команды из документации, **Modelium не проверял запуск на собственном оборудовании** [s1](#src-s1) [s6](#src-s6): git clone https://github.com/getainode/jebadiah.gitcd jebadiah/serveruv sync # на CUDA-машине: uv sync --extra cudauv run hf download frontier-infra/jebadiah-4b-v2uv run jebadiah-serve --model frontier-infra/jebadiah-4b-v2 По умолчанию сервер слушает `127.0.0.1:8000`, а `/docs` описывает запросы. Автор также приложил скрипт для **GGUF**: нужен `llama-server` из llama.cpp с архитектурой `qwen35` (в карточке проверена версия v0.5.0). Скрипт считывает логарифмы вероятностей меток из `/completion` и применяет температурную калибровку; просто открыть GGUF в GUI и попросить текстовый ответ — не тот же режим работы. Для **MLX** есть отдельный `scripts/decide_mlx.py`, заявлена зависимость `mlx-lm>=0.31` [s3](#src-s3) [s4](#src-s4). ## Качество: сравнивайте решения, а не только размер **Это измерения авторов, не независимый тест Modelium.** На их 260 контрольных вопросах GGUF `Q8_0` дал тот же выбор, что BF16, в 256 случаях, `Q5_K_M` — в 239, `Q4_K_M` — в 236. У MLX 8-bit совпадение было 252/260, у 4-bit — 215/260; последние 45 изменившихся ответов существенны для автоматической маршрутизации. Сравнение сделано с одинаковыми промптами и температурой; GGUF проверяли в llama-server на Metal, MLX — отдельным скриптом. Эти числа показывают **согласие с BF16**, а не точность на новых задачах [s3](#src-s3) [s4](#src-s4). В авторской оценке BF16-модели агрегат по выбранным публичным наборам вырос с 70,3 у 4B v1 до 72,5 у v2. Но на публичных 13 поднаборах Nimble макропоказатель не изменился (75,9), а ошибка калибровки ECE на Banking77 ухудшилась с 0,063 до 0,103. HelpSteer2 и SummEval нельзя называть zero-shot: их рубрики встречались при обучении, хотя оценочные элементы, по заявлению авторов, исключены. Проверка устойчивости к постороннему содержимому на момент написания карточки не закончена. Для пороговых решений сначала измерьте качество и калибровку на собственном потоке [s1](#src-s1) [s7](#src-s7). ## Лицензия и ограничения В репозитории весов и кодовом репозитории лежат тексты **Apache-2.0**; исходная `Qwen/Qwen3.5-4B` тоже размечена Apache-2.0. Это не делает все обучающие наборы данных одной лицензией: автор отдельно перечисляет их источники и оговаривает права на них. Коммерческое применение весов следует оценивать по полному набору применимых лицензий и своей юрисдикции, а не по одной метке в карточке. Не путайте опубликованные веса и код с независимой проверкой метрик или готовым решением для критичных процессов [s1](#src-s1) [s8](#src-s8) [s9](#src-s9). ## Источники 1. [Frontier Infra: Jebadiah 4B v2, карточка и файлы ревизии 000bb895](https://huggingface.co/frontier-infra/jebadiah-4b-v2/tree/000bb895b4004c3945c9c5add68393042d622f1f) — получено 2026-09-26 2. [Hugging Face: история ревизий базовой Jebadiah 4B v2](https://huggingface.co/api/models/frontier-infra/jebadiah-4b-v2/commits/main) — получено 2026-09-26 3. [Frontier Infra: GGUF-квантизации Jebadiah 4B v2](https://huggingface.co/frontier-infra/jebadiah-4b-v2-GGUF/tree/ffe1d995772163ecf3f0ae4f5719ac0c2873381d) — получено 2026-09-26 4. [Frontier Infra: MLX-квантизации Jebadiah 4B v2](https://huggingface.co/frontier-infra/jebadiah-4b-v2-MLX/tree/07f38332f849c17792a58be6c57bac917a7ec7ef) — получено 2026-09-26 5. [Hugging Face: история GGUF-пакета Jebadiah 4B v2](https://huggingface.co/api/models/frontier-infra/jebadiah-4b-v2-GGUF/commits/main) — получено 2026-09-26 6. [getainode/jebadiah: исходники и инструкция локального сервера](https://github.com/getainode/jebadiah/blob/74a0cd92965529e90a411532e9887b544c931b2d/server/README.md) — получено 2026-09-26 7. [Frontier Infra: полная методика и результаты Jebadiah 4B v2](https://huggingface.co/frontier-infra/jebadiah-4b-v2/blob/000bb895b4004c3945c9c5add68393042d622f1f/eval/RESULTS.md) — получено 2026-09-26 8. [Frontier Infra: лицензия Apache-2.0 для весов Jebadiah](https://huggingface.co/frontier-infra/jebadiah-4b-v2/blob/000bb895b4004c3945c9c5add68393042d622f1f/LICENSE) — получено 2026-09-26 9. [Qwen: карточка исходной модели Qwen3.5-4B](https://huggingface.co/Qwen/Qwen3.5-4B/tree/851bf6e806efd8d0a36b00ddf55e13ccb7b8cd0a) — получено 2026-09-26