llama.cpp server: включить метрики и проверить очередь запросов

Хотите понять, занят ли ваш локальный сервер llama.cpp и ждут ли запросы своей очереди? У сервера есть адрес /metrics, который показывает показатели работы в виде текста. Для обычного чата этот раздел не нужен; это инженерная проверка уже запущенного сервера, а не рецепт установки модели. s1 s2

Инструкция по официальной документации и коду на 30 октября 2026 года, ревизия a34de8618b25dfc32ee43749db47d767a9f0a25d. Редакция не запускала llama.cpp и модель; ниже описан ожидаемый результат, не собственный замер. Вам нужны Linux, установленный llama-server, собственный работающий сервер с уже выбранным файлом модели в формате GGUF и терминал с curl — программой для обращения к локальному HTTP-адресу. Если сервер ещё не запущен, начните с основного гайда llama.cpp. Не переносите чужой путь к модели или параметры памяти в свою команду без проверки своего компьютера. s1

Как включить страницу с метриками?

Откройте терминал, в котором запускаете свой сервер. Добавьте --metrics к существующей команде запуска llama-server, сохранив собственный путь к GGUF. Для этого учебного пути укажите также --host 127.0.0.1 --port 8080: адрес 127.0.0.1 оставляет сервер доступным только на этом компьютере, а порт должен совпадать в команде запуска и проверках ниже. Остановите прежний экземпляр штатным способом, затем запустите обновлённую команду; не запускайте второй сервер на уже занятом порту. По справке /metrics выключен без --metrics; порт по умолчанию в этой ревизии иной, поэтому 8080 здесь выбран явно. Не открывайте сервер во внешнюю сеть ради графика. s1

Дождитесь загрузки модели и в другом терминале введите curl -i 'http://127.0.0.1:8080/health'. При готовности документация ожидает HTTP 200 и {"status":"ok"}; пока модель загружается, возможен HTTP 503. Если не удаётся подключиться, сверьте порт, адрес и журнал своего процесса до следующего шага. Это проверка готовности HTTP-сервера, ещё не проверка ответа модели. s1

Как прочитать очередь и не принять счётчик за ответ?

В том же втором терминале введите curl -i 'http://127.0.0.1:8080/metrics'. Ожидается HTTP 200 и текст с именами показателей, например llamacpp:requests_processing — сколько запросов сервер обрабатывает сейчас — и llamacpp:requests_deferred — сколько ожидает. Значение 0 в спокойный момент не означает неисправность: создайте свой короткий учебный запрос в уже работающем локальном чате, затем повторите чтение. Во время быстрого ответа можно не успеть увидеть очередь; отсутствие наблюдаемого изменения в одной выборке не доказывает, что запрос не выполнялся. s1 s2

Показатель llamacpp:prompt_tokens_total относится к обработанным входным токенам (небольшим частям текста), а llamacpp:tokens_predicted_total — к сгенерированным. Это счётчики работы процесса, а не оценка качества ответа на вашем вопросе; сравнивайте наблюдения только для того же экземпляра и не выдавайте документационное описание за собственный тест производительности. Для проверки результата прочитайте фактический ответ на учебный вопрос и сверьте его с условием отдельно от /metrics. s1

Что делать, если страница не открылась?

Если /health отвечает, но /metrics сообщает, что маршрут не поддерживается, проверьте, что именно этот запущенный процесс получил --metrics, и затем перезапустите его с флагом. Справка описывает ответ об отключённом endpoint; не требуется удалять модель или открывать порт наружу. Если сервер работает в режиме маршрутизатора нескольких моделей, простой /metrics уже не тот же сценарий: документация требует добавить параметр model с точным ID модели. Не подставляйте имя наугад; этот материал рассчитан на один заранее запущенный сервер. s1

Если запросы ожидают обработки, откройте отдельный разбор слотов llama.cpp, прежде чем менять параллелизм. Ни успешный /health, ни сами метрики не подтверждают корректность выбранного GGUF, ответ на реальную задачу или безопасность сетевого доступа. Здесь проверены только официальные документы и синтаксис безвредных HTTP-запросов, не сервер с моделью. s1