llama.cpp 0.6.0: System One для decision-моделей и новый batch API

5 октября 2026 года ggml-org опубликовала стабильный тег llama.cpp v0.6.0. Главное изменение для локальных сценариев — единый серверный маршрут для моделей, которые возвращают выбор, оценку или вероятность вместо обычного текста. Для разработчиков движка появился расширенный batch API, а совместимость моделей и вычислительных бэкендов расширилась. Исходный код в закреплённом теге распространяется по MIT; это не лицензия весов любой модели, которую вы через него запускаете. s1 s2

Локальные решения вместо генерации ответа

llama-server получил POST /v1/systemone: запрос передаёт состояние state и набор вопросов questions. Документация поддерживает типы choice (категория), score (уровень по шкале) и noul (вероятность ответа «да»). Это подходит для маршрутизации обращений, классификации и ранжирования там, где нужен структурированный результат, а не чат. Серверная документация перечисляет совместимые семейства Laya, Julia-1, Lev, OpenJev, Kev, Nimble и Clef; возможности конкретной модели надо проверять отдельно. Для Clef и OpenJev предусмотрен ввод изображений при наличии подходящей модели и мультимодального проектора. s1 s3

Практический первый шаг после установки — выбрать конкретный совместимый GGUF и, если нужны изображения, его projector, запустить llama-server с этими файлами, затем отправить тестовый запрос на http://127.0.0.1:8080/v1/systemone. Не переносите произвольно пример текстовой модели на зрительную: документация требует соответствующих весов и --mmproj, а сервер Clef обслуживает именно этот маршрут, не обычную генерацию. Оценки вероятности моделью не гарантируют калибровку под ваши данные — проверьте на собственном размеченном наборе. Мы не запускали этот тест и не измеряли точность. s3

Что меняется для разработчиков и владельцев локальных серверов

В публичном заголовке появился llama_batch_ext и вызов llama_process(): новый путь принимает в одном batch токены и embedding-входы, включая состояния для MTP и deepstack. Это прежде всего изменение API для интеграторов; существующие приложения на собственных обёртках стоит пересобрать и проверить, а не считать автоматически совместимыми. Заголовок версии задаёт LLAMA_SESSION_VERSION 11 и LLAMA_STATE_SEQ_VERSION 4. Перед обновлением сервиса с сохранёнными состояниями сделайте резервную копию и проверьте восстановление на своём сценарии: релиз также исправляет обработку rotation metadata KV-cache при загрузке состояния. s1 s4

В v0.6.0 включены поддержка GLM-5.3-Flash (GLM5-Next) и Clef с изображениями, MTP speculative decoding для Qwen4Exp, а также изменения Flash Attention на Metal и sparse Flash Attention с квантованными K/V на Vulkan. Это функции runtime, не доказательство, что любые веса этих семейств свободно доступны, подходят вашему оборудованию или разрешены для коммерческого применения. Ускорение Qwen4Exp примерно в 1,5 раза на DGX Spark и ускорения отдельных Metal-операций в release notes — заявления авторов для конкретных условий, а не наши независимые измерения и не универсальный результат. s1

Как обновляться без ложной уверенности

Проверьте тег v0.6.0, а не случайную ежедневную сборку. У стабильной записи релиза прикреплён только nightly-tag.txt; для готовых бинарных пакетов release notes ссылаются на отдельную сборку b11429. Если выбираете готовый архив, явно сверяйте тег b11429 и нужную платформу; если собираете исходники — закрепите v0.6.0 и используйте инструкции проекта. Проверьте ваш GGUF, версии projector и сохранённые состояния на тестовой копии прежде, чем менять рабочий сервис. Встроенный Web UI получил новую инфраструктуру каталога Hugging Face и загрузок, но конкретную доступность кнопок и UX следует проверять в своей установленной сборке. s1 s4

Вывод: v0.6.0 полезен прежде всего тем, кто разворачивает локальные decision-модели или поддерживает интеграцию с API llama.cpp. Для обычного чата обновление не является выпуском новых весов; выбирайте модель по отдельной карточке и её лицензии, а переход проверяйте на собственных данных. s1 s3