# Kev получил готовые GGUF 0,8B, 4B и 9B для локальных решений без Python

Источник: https://modelium.tech/zhurnal/kev-gguf-08b-4b-9b-local-decision-llama-fork/

23 сентября появились готовые Q8_0 GGUF-пакеты Kev 0,8B, 4B и 9B со встроенной головой решений. Их можно запускать локально через отдельный форк llama.cpp, который добавляет /v1/systemone и CLI llama-decide; штатный llama.cpp специализированный ответ не выдаёт. Для браузера авторы предлагают только вариант 0,8B.

Kev получил готовые GGUF 0,8B, 4B и 9B для локальных решений без Python

23 сентября на Hugging Face появились три Q8_0-пакета Kev: 0,8B, 4B и 9B. Это **не новые базовые языковые модели**: автор конверсии объединил существующие чекпойнты Kev с их обученной головой решений и температурой калибровки в отдельные GGUF-файлы. Практическое изменение — больше не нужно вручную соединять модель и `head.json` перед запуском в специальном форке llama.cpp. История загрузки 0,8B показывает появление весов 23 сентября; соответствующие репозитории 4B и 9B также созданы в этот день. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s4](#src-s4)

## Зачем это нужно

Kev принимает описание ситуации и типизированные вопросы, а возвращает вероятности вариантов вместо сгенерированного текста. Примеры: выбрать отдел для обращения, оценить необходимость эскалации оператору или присвоить оценку по шкале. В отличие от обычного чата, выход предназначен для программного правила с порогом уверенности. Основу моделей составляют Qwen3.5-Base соответствующего размера, адаптер и обученная pointer-head. [s5](#src-s5) [s6](#src-s6)

В каждом из новых файлов голова встроена в GGUF. По деревьям репозиториев доступны `kev-0.8b-q8_0.gguf` (813 942 848 байт), `kev-4b-q8_0.gguf` (4 487 648 224 байта) и `kev-9b-q8_0.gguf` (9 535 892 480 байт). Это **размеры файлов для скачивания**, а не проверенные минимальные требования к RAM или VRAM. Для одного лишь браузерного варианта 0,8B документация форка отдельно оценивает около 1 ГБ рабочей памяти вкладки на указанной конфигурации. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s6](#src-s6)

## Запуск и важное ограничение

Нужен именно форк `espetro/llama.cpp` с веткой `kev`, а не обычная установка llama.cpp через пакетный менеджер. В документации форка приведена сборка и опубликованы предварительные бинарные пакеты; автор отмечает, что пока проверял Kev прежде всего в CPU-сборках. [s6](#src-s6) [s7](#src-s7)

После установки бинарников форка минимальный старт выглядит так:

llama-server -hf espetro/kev-0.8b-gguf

Затем можно отправить запрос к `http://localhost:8080/v1/systemone` с полями `state` и `questions`; для работы без сервера предусмотрен `llama-decide -hf espetro/kev-0.8b-gguf --json request.json`. Для 4B и 9B замените идентификатор репозитория на `espetro/kev-4b-gguf` или `espetro/kev-9b-gguf`. Не переносите эту команду как обещание поддержки в штатном Ollama или основном llama.cpp: без головы Kev обычный llama.cpp читает тот же GGUF как модель Qwen3.5, но не обслуживает специализированный `/v1/systemone`. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s6](#src-s6)

Отдельно форк предлагает WebAssembly-демо, исполняющее 0,8B на стороне браузера и загружающее веса после нажатия кнопки. Авторы предупреждают о большом скачивании и зависимости памяти от `rowCap`; 4B и 9B они не рекомендуют для вкладки. Это не независимый тест Modelium. [s6](#src-s6)

## Лицензия и качество

В карточках трёх GGUF указана Apache 2.0; исходные адаптеры Kev и соответствующие базовые Qwen3.5-Base также помечены Apache 2.0. Код форка распространяется по MIT. Это отдельные условия для весов и программы, а не утверждение о принадлежности форка основному проекту ggml-org. Условия использования ваших данных и датасетов проверяйте отдельно. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s5](#src-s5) [s8](#src-s8) [s9](#src-s9)

По заявлению разработчика форка, сравнение с Python-эталоном на тестовых примерах **0,8B** показало для Q8_0 максимальное расхождение вероятности 0,011 и ноль смен лидирующего ответа. Это ограниченный авторский parity-тест, а не доказательство точности 4B/9B или качества на вашей задаче. В чувствительных сценариях сначала проверьте калибровку и порог эскалации на собственных размеченных примерах. [s6](#src-s6)

## Источники

1. [Hugging Face: espetro/kev-0.8b-gguf, ревизия 0fb7f5b2](https://huggingface.co/espetro/kev-0.8b-gguf/tree/0fb7f5b2a1e49a500be5c8b19aff505cb1a8a542) — получено 2026-09-23
2. [Hugging Face: espetro/kev-4b-gguf, ревизия 7952213c](https://huggingface.co/espetro/kev-4b-gguf/tree/7952213cc7e6d516aabd8eba39140f37fc354b7d) — получено 2026-09-23
3. [Hugging Face: espetro/kev-9b-gguf, ревизия d21f5133](https://huggingface.co/espetro/kev-9b-gguf/tree/d21f5133eecdef816c79bf4e3f666d059a7c1b9b) — получено 2026-09-23
4. [История коммитов Kev 0,8B на Hugging Face](https://huggingface.co/api/models/espetro/kev-0.8b-gguf/commits/main) — получено 2026-09-23
5. [Исходный Kev-0.8B: модель, лицензия и методика](https://huggingface.co/jaredpalmer/kev-0.8b/tree/54f4f8777356cd5bbbb6c6919c657f26e6f2f6d8) — получено 2026-09-23
6. [Документация форка llama.cpp: Kev, GGUF, API, parity и браузер](https://github.com/espetro/llama.cpp/blob/05f6ef8c2b37f0fef2265389a5d6d67a7e3bcddc/docs/kev.md) — получено 2026-09-23
7. [Предварительный релиз форка Kev и бинарные сборки](https://github.com/espetro/llama.cpp/releases/tag/kev-b11127-e45aa3d) — получено 2026-09-23
8. [Лицензия MIT форка llama.cpp](https://github.com/espetro/llama.cpp/blob/05f6ef8c2b37f0fef2265389a5d6d67a7e3bcddc/LICENSE) — получено 2026-09-23
9. [Qwen3.5-Base 0.8B, 4B и 9B: официальные карточки](https://huggingface.co/Qwen/Qwen3.5-0.8B-Base) — получено 2026-09-23