# llama.cpp server: включить метрики и проверить очередь запросов

Источник: https://modelium.tech/zhurnal/llama-cpp-server-metrics/

Если локальный llama.cpp server уже работает, добавьте флаг --metrics к его команде запуска и откройте /metrics на своём компьютере. Там можно посмотреть число обрабатываемых и ожидающих запросов. Сами показатели не доказывают, что выбранная модель правильно ответила: отправьте отдельный короткий запрос и сверьте ответ.

Хотите понять, **занят ли ваш локальный сервер llama.cpp и ждут ли запросы своей очереди**? У сервера есть адрес `/metrics`, который показывает показатели работы в виде текста. Для обычного чата этот раздел не нужен; это **инженерная проверка** уже запущенного сервера, а не рецепт установки модели. [s1](#src-s1) [s2](#src-s2)

**Инструкция по официальной документации и коду на 30 октября 2026 года**, ревизия `a34de8618b25dfc32ee43749db47d767a9f0a25d`. Редакция не запускала llama.cpp и модель; ниже описан ожидаемый результат, не собственный замер. Вам нужны Linux, установленный `llama-server`, собственный работающий сервер с уже выбранным файлом модели в формате GGUF и терминал с `curl` — программой для обращения к локальному HTTP-адресу. Если сервер ещё не запущен, начните с [основного гайда llama.cpp](/zhurnal/llama-cpp/). Не переносите чужой путь к модели или параметры памяти в свою команду без проверки своего компьютера. [s1](#src-s1)

## Как включить страницу с метриками?

Откройте терминал, в котором запускаете **свой** сервер. Добавьте `--metrics` к **существующей** команде запуска `llama-server`, сохранив собственный путь к GGUF. Для этого учебного пути укажите также `--host 127.0.0.1 --port 8080`: адрес `127.0.0.1` оставляет сервер доступным только на этом компьютере, а порт должен совпадать в команде запуска и проверках ниже. Остановите прежний экземпляр штатным способом, затем запустите обновлённую команду; не запускайте второй сервер на уже занятом порту. По справке `/metrics` выключен без `--metrics`; порт по умолчанию в этой ревизии иной, поэтому `8080` здесь выбран **явно**. Не открывайте сервер во внешнюю сеть ради графика. [s1](#src-s1)

Дождитесь загрузки модели и в **другом терминале** введите `curl -i 'http://127.0.0.1:8080/health'`. При готовности документация ожидает HTTP 200 и `{"status":"ok"}`; пока модель загружается, возможен HTTP 503. Если не удаётся подключиться, сверьте порт, адрес и журнал своего процесса до следующего шага. Это проверка готовности HTTP-сервера, ещё не проверка ответа модели. [s1](#src-s1)

## Как прочитать очередь и не принять счётчик за ответ?

В том же втором терминале введите `curl -i 'http://127.0.0.1:8080/metrics'`. Ожидается HTTP 200 и текст с именами показателей, например `llamacpp:requests_processing` — сколько запросов сервер обрабатывает сейчас — и `llamacpp:requests_deferred` — сколько ожидает. Значение `0` в спокойный момент не означает неисправность: создайте **свой короткий учебный запрос** в уже работающем локальном чате, затем повторите чтение. Во время быстрого ответа можно не успеть увидеть очередь; отсутствие наблюдаемого изменения в одной выборке не доказывает, что запрос не выполнялся. [s1](#src-s1) [s2](#src-s2)

Показатель `llamacpp:prompt_tokens_total` относится к обработанным входным токенам (небольшим частям текста), а `llamacpp:tokens_predicted_total` — к сгенерированным. Это счётчики работы процесса, а не оценка качества ответа на вашем вопросе; сравнивайте наблюдения только для того же экземпляра и не выдавайте документационное описание за собственный тест производительности. Для проверки результата прочитайте **фактический ответ** на учебный вопрос и сверьте его с условием отдельно от `/metrics`. [s1](#src-s1)

## Что делать, если страница не открылась?

Если `/health` отвечает, но `/metrics` сообщает, что маршрут не поддерживается, проверьте, что **именно этот запущенный процесс** получил `--metrics`, и затем перезапустите его с флагом. Справка описывает ответ об отключённом endpoint; не требуется удалять модель или открывать порт наружу. Если сервер работает в режиме маршрутизатора нескольких моделей, простой `/metrics` уже не тот же сценарий: документация требует добавить параметр `model` с точным ID модели. Не подставляйте имя наугад; этот материал рассчитан на один заранее запущенный сервер. [s1](#src-s1)

Если запросы ожидают обработки, [откройте отдельный разбор слотов llama.cpp](/zhurnal/llama-cpp-server-slots/), прежде чем менять параллелизм. Ни успешный `/health`, ни сами метрики не подтверждают корректность выбранного GGUF, ответ на реальную задачу или безопасность сетевого доступа. Здесь проверены только официальные документы и синтаксис безвредных HTTP-запросов, не сервер с моделью. [s1](#src-s1)

## Источники

1. [llama.cpp — llama-server README, pinned revision](https://github.com/ggml-org/llama.cpp/blob/a34de8618b25dfc32ee43749db47d767a9f0a25d/tools/server/README.md) — получено 2026-10-30
2. [llama.cpp — server.cpp, регистрация маршрута /metrics](https://github.com/ggml-org/llama.cpp/blob/a34de8618b25dfc32ee43749db47d767a9f0a25d/tools/server/server.cpp) — получено 2026-10-30