Jebadiah 4B v2: локальные решения с GGUF и MLX
На странице · 4 разделов
Frontier Infra загрузила слитые BF16-веса Jebadiah 4B v2 25 сентября, а 26 сентября 2026 года — GGUF и MLX-квантизации. Модель не пишет длинный ответ: она оценивает вероятности заданных вариантов для маршрутизации обращений, проверки условия или балльной шкалы. Авторы дают локальный сервер и скрипты для llama.cpp и Apple Silicon. На их выборке сильное сжатие меняет часть решений; перед автоматизацией нужен тест на собственных данных.
Что выпустили
25 сентября 2026 года Frontier Infra загрузила Jebadiah 4B v2 — полные слитые BF16-веса адаптации Qwen/Qwen3.5-4B. 26 сентября вышли собственные GGUF-варианты Q4_K_M, Q5_K_M, Q8_0 и MLX-пакеты 4-bit/8-bit для Apple Silicon. Ревизии, файлы весов и даты загрузки проверены по истории и дереву Hugging Face; дальнейшая правка карточки не выдана за выпуск новых весов s1 s2 s3 s4 s5.
Вместо генерации текста модель за один проход оценивает заданные метки: choice выбирает категорию, noul оценивает вероятность «да», score распределяет вероятность по упорядоченной шкале. Это подходит для локальной маршрутизации заявок и предварительного отбора документов: состояние остаётся в вашей инфраструктуре, а пороги уверенности и отправку спорных случаев человеку задаёт приложение. Модель обучалась на английском; авторы ограничивают выбор до 20 вариантов в /v1/systemone и предупреждают, что это решения одного шага, не цепочки рассуждений s1 s6.
В v2 по сравнению с 4B v1 изменили базу: вместо Qwen/Qwen3.5-4B-Base использовали чат-чекпойнт Qwen/Qwen3.5-4B. По карточке, обучающие данные, LoRA, целевая функция и температурная калибровка сохранены. Полный BF16-чекпойнт состоит из двух Safetensors-шардов; размеры файлов не равны минимальным требованиям к RAM/VRAM s1 s2.
Как запустить локально
Для BF16 автор публикует отдельный сервер на Python 3.12 с API /v1/systemone, браузерной формой и возможностью задать ключ доступа. Команды из документации, Modelium не проверял запуск на собственном оборудовании s1 s6:
git clone https://github.com/getainode/jebadiah.git
cd jebadiah/server
uv sync # на CUDA-машине: uv sync --extra cuda
uv run hf download frontier-infra/jebadiah-4b-v2
uv run jebadiah-serve --model frontier-infra/jebadiah-4b-v2
По умолчанию сервер слушает 127.0.0.1:8000, а /docs описывает запросы. Автор также приложил скрипт для GGUF: нужен llama-server из llama.cpp с архитектурой qwen35 (в карточке проверена версия v0.5.0). Скрипт считывает логарифмы вероятностей меток из /completion и применяет температурную калибровку; просто открыть GGUF в GUI и попросить текстовый ответ — не тот же режим работы. Для MLX есть отдельный scripts/decide_mlx.py, заявлена зависимость mlx-lm>=0.31 s3 s4.
Качество: сравнивайте решения, а не только размер
Это измерения авторов, не независимый тест Modelium. На их 260 контрольных вопросах GGUF Q8_0 дал тот же выбор, что BF16, в 256 случаях, Q5_K_M — в 239, Q4_K_M — в 236. У MLX 8-bit совпадение было 252/260, у 4-bit — 215/260; последние 45 изменившихся ответов существенны для автоматической маршрутизации. Сравнение сделано с одинаковыми промптами и температурой; GGUF проверяли в llama-server на Metal, MLX — отдельным скриптом. Эти числа показывают согласие с BF16, а не точность на новых задачах s3 s4.
В авторской оценке BF16-модели агрегат по выбранным публичным наборам вырос с 70,3 у 4B v1 до 72,5 у v2. Но на публичных 13 поднаборах Nimble макропоказатель не изменился (75,9), а ошибка калибровки ECE на Banking77 ухудшилась с 0,063 до 0,103. HelpSteer2 и SummEval нельзя называть zero-shot: их рубрики встречались при обучении, хотя оценочные элементы, по заявлению авторов, исключены. Проверка устойчивости к постороннему содержимому на момент написания карточки не закончена. Для пороговых решений сначала измерьте качество и калибровку на собственном потоке s1 s7.
Лицензия и ограничения
В репозитории весов и кодовом репозитории лежат тексты Apache-2.0; исходная Qwen/Qwen3.5-4B тоже размечена Apache-2.0. Это не делает все обучающие наборы данных одной лицензией: автор отдельно перечисляет их источники и оговаривает права на них. Коммерческое применение весов следует оценивать по полному набору применимых лицензий и своей юрисдикции, а не по одной метке в карточке. Не путайте опубликованные веса и код с независимой проверкой метрик или готовым решением для критичных процессов s1 s8 s9.
Источники
- Frontier Infra: Jebadiah 4B v2, карточка и файлы ревизии 000bb895 — Проверены два Safetensors-шарда, карточка, условия обучения, примеры запуска и ограничения.. Получено 26.09.2026.
- Hugging Face: история ревизий базовой Jebadiah 4B v2 — Слитые BF16-веса добавлены 25.09, последующие коммиты карточки и ссылок 26.09.. Получено 26.09.2026.
- Frontier Infra: GGUF-квантизации Jebadiah 4B v2 — 26.09 загружены Q4_K_M/Q5_K_M/Q8_0; опубликованы рецепт llama-server и авторское сравнение ответов.. Получено 26.09.2026.
- Frontier Infra: MLX-квантизации Jebadiah 4B v2 — 26.09 загружены 4-bit и 8-bit Safetensors, скрипты для mlx-lm и результаты авторского сравнения.. Получено 26.09.2026.
- Hugging Face: история GGUF-пакета Jebadiah 4B v2 — Подтверждает даты загрузки каждого GGUF-файла 26.09.. Получено 26.09.2026.
- getainode/jebadiah: исходники и инструкция локального сервера — Сервер и API, режимы устройства, ограничения и проверка prompt contract.. Получено 26.09.2026.
- Frontier Infra: полная методика и результаты Jebadiah 4B v2 — Включает состав наборов, ECE, границы zero-shot и состояние теста устойчивости.. Получено 26.09.2026.
- Frontier Infra: лицензия Apache-2.0 для весов Jebadiah. Получено 26.09.2026.
- Qwen: карточка исходной модели Qwen3.5-4B — Карточка базовой модели указывает Apache-2.0; права на отдельные датасеты не унифицируются.. Получено 26.09.2026.