Clef и Clef-Flash в GGUF: llama.cpp добавил локальные решения по тексту

Что действительно доступно

Официальные конверсии ggml-org содержат по три законченных GGUF-файла: BF16, Q4_K_M и Q8_0 для Clef (27B) и Clef-Flash (9B). Их наличие и размер проверяются по закреплённым деревьям Hugging Face: для Clef Q4_K_M — 19 232 219 104 байта, для Clef-Flash Q4_K_M — 6 486 448 192 байта. Это размеры файлов, а не минимум RAM или VRAM. Карточки обеих конверсий указывают Apache-2.0 и исходные репозитории Cloudflare; в исходном Clef отдельно присутствует текст LICENSE Apache-2.0. При внедрении и распространении сохраняйте лицензионные уведомления и отдельно проверьте права на конкретные используемые данные. s2s3s7

Clef не предназначен для обычного чат-ответа: сервер принимает состояние и типизированные вопросы choice, score или noul, возвращая варианты и вероятности. В отличие от пяти ранее добавленных decision-моделей, Clef оценивает все вопросы одного запроса совместно, в одном prompt. Это подходит для локальной маршрутизации обращения, оценки срочности или выбора одного из заданных действий; полученные вероятности не гарантированно калиброваны на вашем потоке — проверяйте их на своей выборке. s1s4

Как попробовать без обещания готового stable

1. Соберите llama.cpp из master на коммите 99b95488 или более позднем; эта статья не утверждает, что установленный у вас пакет содержит изменение. Карточка ggml-org предлагает команду llama serve -hf ggml-org/Clef-Flash-GGUF (либо ggml-org/Clef-GGUF). Убедитесь, какой GGUF-вариант выбрал загрузчик, и сопоставьте его с ресурсами вашей машины: редакция не проводила запуск или замеры. s1s2s3s5
2. Направьте POST на локальный http://127.0.0.1:8080/v1/systemone с JSON-полями state и questions. Например, для выбора маршрута используйте state как текст сообщения клиента, а в questions.route задайте type: choice, instructions с формулировкой задачи и criteria с ключами доступных команд. Схема и полный пример запроса опубликованы в документации сервера; endpoint не поддерживает streaming. s4
3. Учитывайте ограничения: для Clef все токены prompt должны помещаться в --ubatch-size, один batch обрабатывает только одну последовательность, а сервер с Clef обслуживает этот decision endpoint, не генерацию текста. Изображения через GGUF/llama.cpp пока недоступны: связанный PR #29622 на момент проверки открыт. Мультимодальность исходного Clef не равна поддержке vision в этом новом пути. s1s4s8

Отдельное сравнение качества и задержки GGUF-квантов с исходными весами здесь не проводилось; Q4_K_M не следует автоматически считать равноценным BF16. Если нужен уже описанный локальный API для других пяти decision-моделей, см. материал Modelium о предыдущем merge /v1/systemone; если нужны исходные Clef с изображениями — материал о релизе Cloudflare и его авторском загрузчике. s1s4s6