Перейти к содержанию
modelium.
Начать с задачи
←
Новость

llama.cpp b11418 научился принимать изображения для Clef и Clef-Flash

На странице · 3 разделов

5 октября 2026 года llama.cpp выпустил предварительную сборку b11418 с поддержкой изображений в серверном /v1/systemone для семейства Clef. В тот же день ggml-org обновила GGUF-пакеты Clef и Clef-Flash, добавив проекторы mmproj. Это переход от прежнего текстового режима к анализу изображений в типизированных решениях; видео в серверном API пока не поддерживается. Релиз не является стабильной версией, а собственных тестов Modelium нет. [[s1]][[s2]][[s3]][[s4]][[s5]]

Что изменилось 5 октября

В llama.cpp слит PR #29969, а предварительная сборка b11418 опубликована 5 октября 2026 года. Изменение добавляет мультимодальный ввод для моделей Clef в серверный /v1/systemone: помимо состояния и схемы вопросов он может принять изображение и вернуть типизированный ответ, а не свободный текст. Предыдущая поддержка Clef в llama.cpp была только текстовой; именно это новое изменение снимает прежнее ограничение для изображений. Это daily/prerelease-сборка, не стабильный выпуск. s1s2s3

Одного обновления кода мало: в репозиториях ggml-org/Clef-GGUF и ggml-org/Clef-Flash-GGUF 5 октября перевыпущены модельные GGUF и появились отдельные мультимодальные проекторы mmproj-…-BF16.gguf и mmproj-…-Q8_0.gguf. Манифесты обоих репозиториев показывают полные варианты BF16, Q4_K_M и Q8_0 плюс два файла проекторов. Журнал конвертации Clef подтверждает экспорт BF16- и Q8_0-проектора из исходного чекпойнта; это доступные артефакты, а не измерение качества или требования к памяти. s4s5

Где это полезно

Практический сценарий — локальная классификация документа или снимка по заранее заданным правилам: например, «есть ли таблица на скане?» как вопрос noul, либо выбор ответственной команды по содержимому вложения как choice. Clef/Clef-Flash — decision-модели: /v1/systemone оценивает варианты вопросов, а не генерирует свободный ответ. Выигрыш здесь — структурированный ответ по изображению при локальном исполнении; улучшение точности или скорости в этой сборке не измерялось Modelium. s3s6

Как проверить совместимость

  1. Берите именно b11418 или более позднюю сборку с PR #29969, а не стабильный v0.5.0 или старый GGUF. Страницы GGUF предлагают запуск llama serve -hf ggml-org/Clef-GGUF или llama serve -hf ggml-org/Clef-Flash-GGUF; проверьте, что вместе с моделью загрузился соответствующий mmproj. Серверная документация прямо требует проектор для изображений и описывает параметр --mmproj; без него запрос с изображением возвращает ошибку 501. s1s3s4s5
  2. Отправляйте POST на /v1/systemone: state — текст или JSON с контекстом, images — массив строк вида data:image/jpeg;base64,…, questions — объект с вопросами noul, choice или score. В документации b11418 есть пример вопроса has_table для изображения документа. Сервер ограничивает число изображений восемью; при некорректном формате возвращает ошибку, а videos в этом API пока не поддерживаются. s3s2
  3. Проверьте поведение на собственном наборе документов и критериев: вероятности, по документации, не гарантированно откалиброваны для ваших данных. Для Clef весь запрос должен уместиться в --ubatch-size. Не переносите сюда без проверки результаты авторского бенчмарка исходной модели: этот релиз серверной поддержки не сопровождается независимым сравнением качества. s3s6

Лицензии и границы. Исходные Clef и Clef-Flash и их GGUF-пакеты помечены Apache-2.0; репозиторий llama.cpp — MIT. Наличие открытых весов не означает, что авторские оценки воспроизведены на этом runtime. Официальные карточки исходных моделей описывают также работу с видео в PyTorch-стеке, но серверный /v1/systemone b11418 явно отвергает videos: не смешивайте эти два способа запуска. s3s4s5s6s7

Источники