# Clef и Clef-Flash в GGUF: llama.cpp добавил локальные решения по тексту

Источник: https://modelium.tech/zhurnal/clef-flash-gguf-llama-cpp-systemone-text-only/

3 октября 2026 года в основную ветку llama.cpp вошёл PR #29831 с поддержкой текстовых решений Clef и Clef-Flash через /v1/systemone. ggml-org уже разместила по три полных GGUF-варианта обеих моделей под меткой Apache-2.0. Функции пока нет в последнем стабильном v0.5.0; изображения для Clef и Clef-Flash в этом сервере ещё не поддерживаются. [[s1]][[s2]][[s3]][[s4]]

Clef и Clef-Flash получили GGUF-путь в llama.cpp — пока только текст

3 октября 2026 года PR #29831 вошёл в master llama.cpp коммитом `99b95488`: появилась поддержка архитектуры Clef, её совместной головы решений и обработка запросов через уже существующий `/v1/systemone`. Это новая возможность для Clef и Clef-Flash, а не повторный анонс самих моделей или релиз нового стабильного llama.cpp. Последний стабильный тег остаётся v0.5.0 от 23 сентября, поэтому для этого сценария нужна сборка исходников не старше указанного merge-коммита; не ожидайте, что старый установленный бинарник заработает с новыми GGUF. [s1](#src-s1)[s5](#src-s5)[s6](#src-s6)

## Что действительно доступно

Официальные конверсии ggml-org содержат по три законченных GGUF-файла: BF16, Q4_K_M и Q8_0 для Clef (27B) и Clef-Flash (9B). Их наличие и размер проверяются по закреплённым деревьям Hugging Face: для Clef Q4_K_M — 19 232 219 104 байта, для Clef-Flash Q4_K_M — 6 486 448 192 байта. Это размеры *файлов*, а не минимум RAM или VRAM. Карточки обеих конверсий указывают Apache-2.0 и исходные репозитории Cloudflare; в исходном Clef отдельно присутствует текст LICENSE Apache-2.0. При внедрении и распространении сохраняйте лицензионные уведомления и отдельно проверьте права на конкретные используемые данные. [s2](#src-s2)[s3](#src-s3)[s7](#src-s7)

Clef не предназначен для обычного чат-ответа: сервер принимает состояние и типизированные вопросы `choice`, `score` или `noul`, возвращая варианты и вероятности. В отличие от пяти ранее добавленных decision-моделей, Clef оценивает все вопросы одного запроса **совместно**, в одном prompt. Это подходит для локальной маршрутизации обращения, оценки срочности или выбора одного из заданных действий; полученные вероятности не гарантированно калиброваны на вашем потоке — проверяйте их на своей выборке. [s1](#src-s1)[s4](#src-s4)

## Как попробовать без обещания готового stable

- Соберите llama.cpp из master на коммите `99b95488` или более позднем; эта статья не утверждает, что установленный у вас пакет содержит изменение. Карточка ggml-org предлагает команду `llama serve -hf ggml-org/Clef-Flash-GGUF` (либо `ggml-org/Clef-GGUF`). Убедитесь, какой GGUF-вариант выбрал загрузчик, и сопоставьте его с ресурсами вашей машины: редакция не проводила запуск или замеры. [s1](#src-s1)[s2](#src-s2)[s3](#src-s3)[s5](#src-s5)

- Направьте POST на локальный `http://127.0.0.1:8080/v1/systemone` с JSON-полями `state` и `questions`. Например, для выбора маршрута используйте `state` как текст сообщения клиента, а в `questions.route` задайте `type: choice`, `instructions` с формулировкой задачи и `criteria` с ключами доступных команд. Схема и полный пример запроса опубликованы в документации сервера; endpoint не поддерживает streaming. [s4](#src-s4)

- Учитывайте ограничения: для Clef все токены prompt должны помещаться в `--ubatch-size`, один batch обрабатывает только одну последовательность, а сервер с Clef обслуживает этот decision endpoint, не генерацию текста. **Изображения через GGUF/llama.cpp пока недоступны**: связанный PR #29622 на момент проверки открыт. Мультимодальность исходного Clef не равна поддержке vision в этом новом пути. [s1](#src-s1)[s4](#src-s4)[s8](#src-s8)

Отдельное сравнение качества и задержки GGUF-квантов с исходными весами здесь не проводилось; Q4_K_M не следует автоматически считать равноценным BF16. Если нужен уже описанный локальный API для других пяти decision-моделей, см. материал Modelium о предыдущем merge `/v1/systemone`; если нужны исходные Clef с изображениями — материал о релизе Cloudflare и его авторском загрузчике. [s1](#src-s1)[s4](#src-s4)[s6](#src-s6)

## Источники

1. [ggml-org/llama.cpp PR #29831: поддержка Clef, merge 2026-10-03 и ограничения](https://github.com/ggml-org/llama.cpp/pull/29831) — получено 2026-10-03
2. [ggml-org/Clef-GGUF: закреплённая карточка и дерево весов 5f70656b](https://huggingface.co/ggml-org/Clef-GGUF/tree/5f70656b6670c65eb85ad07a11efe211b5f211bd) — получено 2026-10-03
3. [ggml-org/Clef-Flash-GGUF: закреплённая карточка и дерево весов 4a7a08c0](https://huggingface.co/ggml-org/Clef-Flash-GGUF/tree/4a7a08c09bc63baf043b62b5ba89dd67a0357d95) — получено 2026-10-03
4. [llama.cpp server README на merge-коммите: /v1/systemone, схема и ограничения](https://github.com/ggml-org/llama.cpp/blob/99b95488cac0f00ce3f05af113a8c1e287753f87/tools/server/README.md) — получено 2026-10-03
5. [Подтверждённый merge-коммит 99b95488 в llama.cpp](https://github.com/ggml-org/llama.cpp/commit/99b95488cac0f00ce3f05af113a8c1e287753f87) — получено 2026-10-03
6. [Последний стабильный llama.cpp v0.5.0](https://github.com/ggml-org/llama.cpp/releases/tag/v0.5.0) — получено 2026-10-03
7. [Cloudflare/clef: LICENSE Apache-2.0, ревизия 2f3de3dd](https://huggingface.co/Cloudflare/clef/blob/2f3de3dd85f379784083b0814d997ab627200f0c/LICENSE) — получено 2026-10-03
8. [llama.cpp PR #29622: vision для Clef ещё открыт](https://github.com/ggml-org/llama.cpp/pull/29622) — получено 2026-10-03