vLLM max-logprobs: ограничить выдачу вариантов токенов в API

Чем отличается лимит сервера от запроса клиента?

Флаг запуска --max-logprobs ограничивает, сколько оценок вариантов токенов допускается вернуть на позицию. В v0.32.0 значение по умолчанию — 20, а -1 снимает предел и, согласно предупреждению в коде, может вызвать нехватку памяти при больших ответах или словаре. Не ставьте -1 ради учебного просмотра двух вариантов. На стороне клиента logprobs: true включает поле оценок в ответе Chat Completions, а top_logprobs: 2 запрашивает два верхних варианта. Положительное top_logprobs без logprobs: true отклоняется; запрос сверх серверного лимита также отклоняется при проверке параметров. s1 s2 s3 s5

Как увидеть оценки на своём сервере?

Сначала по гайду запуска получите обычный ответ на закрытом тестовом стенде. Не открывайте этот пример в публичную сеть и не передавайте реальные секреты. Для отдельного учебного запуска на Linux выполните vllm serve Qwen/Qwen2.5-1.5B-Instruct --host 127.0.0.1 --max-logprobs 2. Дождитесь готовности; если загрузка не удалась, не переходите к запросу ниже. Указанное число — учебный предел возвращаемых альтернатив, не требование к GPU и не обещание производительности. s5 s6

В другом терминале запросите один короткий ответ: curl -fsS http://127.0.0.1:8000/v1/chat/completions -H 'Content-Type: application/json' -d '{"model":"Qwen/Qwen2.5-1.5B-Instruct","messages":[{"role":"user","content":"Назови цвет неба в ясный день одним словом"}],"max_completion_tokens":8,"logprobs":true,"top_logprobs":2}'. Ожидайте JSON с choices[0].logprobs.content: у сгенерированных токенов смотрите token, logprob и top_logprobs. Это форма ответа по реализации, а не обещание конкретного русского слова или двух альтернатив в каждом отдельном случае. Если вы получили ошибку лимита, сравните запрошенное top_logprobs с серверным --max-logprobs; если нет ответа модели, сначала проверьте запуск и имя модели. s2 s3 s4 s6

Что эти числа не показывают?

Сверяйте фактический ответ с исходным учебным вопросом вручную: оценки относятся к токенам на отдельных шагах генерации, а не к правильности всего предложения. Изменение лимита выдачи вариантов само по себе не является оценкой качества, скорости или приватности модели; сервер следует испытывать на своих данных отдельно. Для другого локального приложения есть отдельный разбор Ollama. s1 s4