Kev получил готовые GGUF 0,8B, 4B и 9B для локальных решений без Python

Зачем это нужно

Kev принимает описание ситуации и типизированные вопросы, а возвращает вероятности вариантов вместо сгенерированного текста. Примеры: выбрать отдел для обращения, оценить необходимость эскалации оператору или присвоить оценку по шкале. В отличие от обычного чата, выход предназначен для программного правила с порогом уверенности. Основу моделей составляют Qwen3.5-Base соответствующего размера, адаптер и обученная pointer-head. s5 s6

В каждом из новых файлов голова встроена в GGUF. По деревьям репозиториев доступны kev-0.8b-q8_0.gguf (813 942 848 байт), kev-4b-q8_0.gguf (4 487 648 224 байта) и kev-9b-q8_0.gguf (9 535 892 480 байт). Это размеры файлов для скачивания, а не проверенные минимальные требования к RAM или VRAM. Для одного лишь браузерного варианта 0,8B документация форка отдельно оценивает около 1 ГБ рабочей памяти вкладки на указанной конфигурации. s1 s2 s3 s6

Запуск и важное ограничение

Нужен именно форк espetro/llama.cpp с веткой kev, а не обычная установка llama.cpp через пакетный менеджер. В документации форка приведена сборка и опубликованы предварительные бинарные пакеты; автор отмечает, что пока проверял Kev прежде всего в CPU-сборках. s6 s7

После установки бинарников форка минимальный старт выглядит так:

llama-server -hf espetro/kev-0.8b-gguf

Затем можно отправить запрос к http://localhost:8080/v1/systemone с полями state и questions; для работы без сервера предусмотрен llama-decide -hf espetro/kev-0.8b-gguf --json request.json. Для 4B и 9B замените идентификатор репозитория на espetro/kev-4b-gguf или espetro/kev-9b-gguf. Не переносите эту команду как обещание поддержки в штатном Ollama или основном llama.cpp: без головы Kev обычный llama.cpp читает тот же GGUF как модель Qwen3.5, но не обслуживает специализированный /v1/systemone. s1 s2 s3 s6

Отдельно форк предлагает WebAssembly-демо, исполняющее 0,8B на стороне браузера и загружающее веса после нажатия кнопки. Авторы предупреждают о большом скачивании и зависимости памяти от rowCap; 4B и 9B они не рекомендуют для вкладки. Это не независимый тест Modelium. s6

Лицензия и качество

В карточках трёх GGUF указана Apache 2.0; исходные адаптеры Kev и соответствующие базовые Qwen3.5-Base также помечены Apache 2.0. Код форка распространяется по MIT. Это отдельные условия для весов и программы, а не утверждение о принадлежности форка основному проекту ggml-org. Условия использования ваших данных и датасетов проверяйте отдельно. s1 s2 s3 s5 s8 s9

По заявлению разработчика форка, сравнение с Python-эталоном на тестовых примерах 0,8B показало для Q8_0 максимальное расхождение вероятности 0,011 и ноль смен лидирующего ответа. Это ограниченный авторский parity-тест, а не доказательство точности 4B/9B или качества на вашей задаче. В чувствительных сценариях сначала проверьте калибровку и порог эскалации на собственных размеченных примерах. s6