# OneJev в GGUF: новые квантизации 0.8B–27B для локальных решений

Источник: https://modelium.tech/zhurnal/onejev-08b-4b-9b-27b-bartowski-gguf-local-decisions/

30 сентября появились новые GGUF-квантизации Bartowski для OneJev-0.8B, 4B, 9B и 27B с файлами проектора изображений. Это альтернативные сборки уже выпущенных открытых весов, а не новые базовые модели. Код qev позволяет использовать GGUF через локальный API типизированных решений; совместимость и качество именно этих квантизаций Modelium не проверял.

OneJev в GGUF: четыре размера для локальных решений по тексту и изображениям

30 сентября 2026 года в репозиториях Bartowski появились новые GGUF-квантизации **OneJev-0.8B, 4B, 9B и 27B**. Это не выпуск новых базовых моделей: исходные чекпойнты OmniJev были размещены 27 сентября, а другие GGUF-конверсии от mradermacher уже доступны. Новость — дополнительный набор квантизаций с матричными раскладками и отдельными файлами проектора изображений для каждого размера. Даты создания и состав зафиксированы в API Hugging Face; `lastModified` само по себе не доказывает дату выпуска весов. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s4](#src-s4) [s5](#src-s5)

## Зачем это локальному приложению

OneJev — не обычный чат-бот: модель получает состояние задачи и типизированные вопросы и возвращает выбор, вероятность условия (`noul`) либо упорядоченную оценку (`score`). Примеры — маршрутизация обращения и выбор следующего действия агента на скриншоте. Авторы предоставляют сервер `qev`, который преобразует такие запросы в ответы System One; просто открыть GGUF в обычном чате не равнозначно получить этот API. Ветка `qev` для llama.cpp принимает GGUF-репозиторий вида `repo:quant`, подбирает сопутствующий `mmproj` и сверяет токенизатор; видео в этой ветке не поддерживается, в отличие от PyTorch-сервера. Мы изучили код, но **не запускали** новую квантизацию и не подтверждали её совместимость или качество своим тестом. [s5](#src-s5) [s6](#src-s6) [s7](#src-s7)

## Что действительно загружено

В закреплённой ревизии 4B есть 22 модельных GGUF-варианта (включая bf16, Q8_0 и Q4_K_M) и отдельный файл imatrix; `Q4_K_M` размером **3 171 653 120 байт** и два проектора `mmproj` для изображений. 0.8B, 9B и 27B также содержат Q4_K_M и проекторы f16/bf16. Числа обозначают место файлов на диске, **не минимальную RAM/VRAM**: контекст, backend, проектор и кеш меняют реальное потребление памяти. Численные сравнения качества отдельных новых квантизаций против их исходных весов автор репозитория не публикует; приводимые авторами OneJev совпадения GGUF с PyTorch относятся к конверсии mradermacher, и переносить их на Bartowski нельзя. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s4](#src-s4) [s6](#src-s6)

## Лицензия и разумная проверка

Карточки исходной OneJev и новых GGUF помечены **Apache-2.0**, а в исходном репозитории проекта есть текст Apache License 2.0; это открытые веса с разрешённым коммерческим использованием при соблюдении условий лицензии, но не доказательство качества или безопасного применения. Перед внедрением закрепите ревизию нужного GGUF и исходной модели, проверьте наличие проектора для изображений и сравните ответы на собственной типизированной выборке с исходным PyTorch-чекпойнтом. Официальный README показывает команду `qev serve --gguf mradermacher/OneJev-4B-GGUF:Q8_0`; это подтверждённый авторами пример для **другого** GGUF-пакета, а не отчёт о тестировании новых файлов Bartowski. [s1](#src-s1) [s5](#src-s5) [s6](#src-s6) [s8](#src-s8)

Если нужен обычный текстовый генератор, OneJev решает иную задачу. Если нужен локальный классификатор, сравните его с существующим стеком принятия решений, прежде чем выбирать размер модели и квантование. [s5](#src-s5) [s6](#src-s6)

## Источники

1. [Bartowski: закреплённый API-манифест OneJev-4B-GGUF](https://huggingface.co/api/models/bartowski/OmniJev_OneJev-4B-GGUF/revision/31d40dd1e32ab4dace1ed0532fd830c7815597b7?blobs=true) — получено 2026-09-30
2. [Bartowski: закреплённый API-манифест OneJev-0.8B-GGUF](https://huggingface.co/api/models/bartowski/OmniJev_OneJev-0.8B-GGUF/revision/95fd42fd365d24e1de2db96743ba6d1b678d0b30?blobs=true) — получено 2026-09-30
3. [Bartowski: закреплённый API-манифест OneJev-9B-GGUF](https://huggingface.co/api/models/bartowski/OmniJev_OneJev-9B-GGUF/revision/94e0dea426f7f504a571991e8d26f4ac9a3493ff?blobs=true) — получено 2026-09-30
4. [Bartowski: закреплённый API-манифест OneJev-27B-GGUF](https://huggingface.co/api/models/bartowski/OmniJev_OneJev-27B-GGUF/revision/811b2d1df30e633dd1aea9a252c9e7b78c0fdd18?blobs=true) — получено 2026-09-30
5. [OmniJev: карточка исходного OneJev-4B и методика](https://huggingface.co/OmniJev/OneJev-4B/blob/c88e18653ceb7a8770716287f55fdefc79d6b588/README.md) — получено 2026-09-30
6. [OmniJev: официальный README проекта, коммит c2b1540](https://github.com/OmniJev/OneJev/blob/c2b1540e2c44f6685dc1ff0d8b7b7b10f118944e/README.md) — получено 2026-09-30
7. [OmniJev: исходный код GGUF-адаптера qev](https://github.com/OmniJev/OneJev/blob/c2b1540e2c44f6685dc1ff0d8b7b7b10f118944e/qev/llamacpp.py) — получено 2026-09-30
8. [OmniJev: Apache License 2.0 в исходном репозитории](https://github.com/OmniJev/OneJev/blob/c2b1540e2c44f6685dc1ff0d8b7b7b10f118944e/LICENSE) — получено 2026-09-30