OneJev в GGUF: новые квантизации 0.8B–27B для локальных решений

Зачем это локальному приложению

OneJev — не обычный чат-бот: модель получает состояние задачи и типизированные вопросы и возвращает выбор, вероятность условия (noul) либо упорядоченную оценку (score). Примеры — маршрутизация обращения и выбор следующего действия агента на скриншоте. Авторы предоставляют сервер qev, который преобразует такие запросы в ответы System One; просто открыть GGUF в обычном чате не равнозначно получить этот API. Ветка qev для llama.cpp принимает GGUF-репозиторий вида repo:quant, подбирает сопутствующий mmproj и сверяет токенизатор; видео в этой ветке не поддерживается, в отличие от PyTorch-сервера. Мы изучили код, но не запускали новую квантизацию и не подтверждали её совместимость или качество своим тестом. s5 s6 s7

Что действительно загружено

В закреплённой ревизии 4B есть 22 модельных GGUF-варианта (включая bf16, Q8_0 и Q4_K_M) и отдельный файл imatrix; Q4_K_M размером 3 171 653 120 байт и два проектора mmproj для изображений. 0.8B, 9B и 27B также содержат Q4_K_M и проекторы f16/bf16. Числа обозначают место файлов на диске, не минимальную RAM/VRAM: контекст, backend, проектор и кеш меняют реальное потребление памяти. Численные сравнения качества отдельных новых квантизаций против их исходных весов автор репозитория не публикует; приводимые авторами OneJev совпадения GGUF с PyTorch относятся к конверсии mradermacher, и переносить их на Bartowski нельзя. s1 s2 s3 s4 s6

Лицензия и разумная проверка

Карточки исходной OneJev и новых GGUF помечены Apache-2.0, а в исходном репозитории проекта есть текст Apache License 2.0; это открытые веса с разрешённым коммерческим использованием при соблюдении условий лицензии, но не доказательство качества или безопасного применения. Перед внедрением закрепите ревизию нужного GGUF и исходной модели, проверьте наличие проектора для изображений и сравните ответы на собственной типизированной выборке с исходным PyTorch-чекпойнтом. Официальный README показывает команду qev serve --gguf mradermacher/OneJev-4B-GGUF:Q8_0; это подтверждённый авторами пример для другого GGUF-пакета, а не отчёт о тестировании новых файлов Bartowski. s1 s5 s6 s8

Если нужен обычный текстовый генератор, OneJev решает иную задачу. Если нужен локальный классификатор, сравните его с существующим стеком принятия решений, прежде чем выбирать размер модели и квантование. s5 s6