llama.cpp добавил /v1/systemone: пять decision-моделей в основной ветке

Когда это пригодится

Локальный сервер может направлять обращения в команду, оценивать срочность или отвечать на бинарный вопрос, возвращая структуру и вероятности вместо генерации произвольного текста. Документация описывает state как строку, объект либо массив, а questions — как словарь вопросов типов choice, score и noul. Ответ choice содержит выбранный вариант и вероятности, score — ожидаемый уровень и распределение, noul — вероятность ответа «да». Вероятности не гарантированно откалиброваны для вашего потока данных: проверяйте пороги на собственном размеченном наборе перед автоматическим решением. Стриминг не поддерживается. s2

Практический путь для пилота: собрать llama-server из исходников не раньше зафиксированного merge-коммита a4cb4c61, загрузить, например, ggml-org/Laya-GGUF согласно инструкции PR (llama-server -hf ggml-org/Laya-GGUF), затем отправить POST на http://127.0.0.1:8080/v1/systemone со своим state и questions. Для choice задайте type, instructions и criteria с вариантами; для noul достаточно type и instructions. Формат полного примера приведён в закреплённой серверной документации. Это путь из документации разработчиков, не проверенный запуск Modelium. Изображения допустимы только у совместимой модели с загруженным --mmproj, а не у любого из пяти GGUF. s1s2

Ограничения версии и права

Важно не подменять исходную ветку стабильным бинарником: последний стабильный релиз на момент проверки — v0.5.0 от 23 сентября, он предшествует PR; опубликованные до merge ежедневные сборки тоже не являются подтверждением этой функции. Дождитесь следующей сборки с коммитом или соберите исходники; сначала сверяйте commit/tag своего сервера. s1s8

Лицензия самого llama.cpp — MIT. Метаданные четырёх GGUF-репозиториев (Laya, Julia-1, lev, Kev-4B) указывают Apache-2.0, но OpenJev-GGUF — CC BY-NC 4.0, что не даёт общего разрешения на коммерческое использование. Лицензия кода, открытая публикация весов и право применить конкретную модель в продукте — разные вопросы. При выборе веса сверяйте также права и условия исходного чекпойнта. s3s4s5s6s7s9

Новость именно о включении пяти decision-моделей в основной llama.cpp, а не о новом семействе базовых моделей или стабильном релизе. Для сравнения: ранее опубликованная возможность /v1/systemone в Ollama 0.35.0 preview относится к другому runtime и остаётся предварительной. Здесь не делаем выводов об ускорении, точности либо минимальном объёме RAM/VRAM без отдельного воспроизводимого измерения. s1s2