vLLM served model name: как назначить имя модели для локального API
На странице · 3 разделов
Флаг --served-model-name позволяет показать клиенту короткое имя модели вместо имени репозитория или пути к весам. Запустите свой vLLM с этим флагом, найдите новое имя в /v1/models и отправьте учебный запрос с тем же именем. Это инженерная инструкция для уже установленного vLLM на совместимом Linux/GPU, а не способ переименовать файлы модели или проверить её качество.
Клиент обращается к локальному серверу vLLM по имени модели в API. Если программа ожидает короткое имя demo-local, его можно назначить флагом --served-model-name при запуске сервера. Это не меняет файл весов и не делает модель точнее: вы задаёте только имя, под которым её видит клиент. s1 s3
Статус: действия сверены по документации и коду vLLM v0.32.0, но редакция не запускала vLLM, GPU или модель. Это инженерный сценарий для Linux с уже установленным vLLM и совместимой NVIDIA-видеокартой (в документации для CUDA указана compute capability от 7.5), терминалом и доступом к сети для первоначальной загрузки весов. Точный необходимый объём видеопамяти для выбранной модели здесь не измерялся; проверьте его на своём устройстве. После подготовки запросы к адресу 127.0.0.1 остаются локальными, но это само по себе не доказывает отсутствие иных сетевых обращений. Если установка ещё не готова, начните с общего гайда. s2 s5
Как задать имя при запуске сервера?
На своей машине Linux откройте терминал в окружении с установленным vLLM. В примере используется конкретная модель Qwen/Qwen3-0.6B на закреплённой ревизии; vLLM при отсутствии локальных файлов может скачать её, поэтому подготовьте сеть и место для файлов. Запустите vllm serve Qwen/Qwen3-0.6B --revision c1899de289a04d12100db370d81485cdf75e47ca --served-model-name demo-local --host 127.0.0.1 --port 8000. Ожидайте запуска сервера; если загрузка завершилась ошибкой, не считайте дальнейшие проверки успешными. --host 127.0.0.1 ограничивает сетевой адрес компьютером, а --served-model-name не переносит и не переименовывает веса. В другой версии vLLM прежде сверьте синтаксис её документации. s1 s2 s5
Как проверить объявленное имя и ответ?
В другом терминале того же компьютера выполните curl --fail-with-body -sS 'http://127.0.0.1:8000/v1/models'. В ответе JSON — тексте с именованными полями — найдите в массиве data карточку, где id равен demo-local. Не публикуйте весь ответ приватного сервера: он может содержать внутренний путь root. Один лишь список показывает объявленное имя, а не работоспособность генерации. s3 s4
Отправьте короткое учебное задание: curl --fail-with-body -sS 'http://127.0.0.1:8000/v1/chat/completions' -H 'Content-Type: application/json' -d '{"model":"demo-local","messages":[{"role":"user","content":"Назови один овощ."}],"max_tokens":128}'. Успешный запрос должен вернуть JSON с полем choices и ответом модели; не обещаем конкретное слово. Сверьте, что в собственном запросе стоит то же имя demo-local, что и в data[].id. Эта проверка не доказывает качество модели на ваших задачах и не является воспроизведённым запуском редакции. s3 s6
Что делать, если имя не совпало?
Если в data[].id видите путь к модели вместо demo-local, проверьте свою фактическую команду запуска и адрес сервера: без --served-model-name vLLM использует имя из аргумента модели. Если запрос не доходит до сервера, проверьте порт и журнал своего процесса, не открывая его во внешнюю сеть ради теста. Если список содержит нужное имя, но ответ на учебный запрос не приходит, разбирайте причину загрузки/генерации отдельно; переименование API не чинит память GPU и совместимость модели. s1 s2 s3
Следующий шаг: откройте базовый гайд vLLM, если нужно настроить сам сервер и модель. Учебные команды проверены редакцией только на локальной HTTP-заглушке: реальный вывод vLLM и модели не утверждается.
Источники
- vLLM v0.32.0: аргументы serve и --served-model-name — revision v0.32.0 / 5df63a7203cdb9328d824a27b682e77c7b9928be; Имена API, --revision, --host и --port; снимок и SHA в research/raw/2026-11-01/seo/vllm-served-model-name/.. Получено 01.11.2026.
- vLLM v0.32.0: установка и совместимость GPU — revision v0.32.0 / 5df63a7203cdb9328d824a27b682e77c7b9928be; Linux, Python и поддерживаемые GPU; VRAM для конкретной модели здесь не выводим.. Получено 01.11.2026.
- vLLM v0.32.0: серверный реестр имён моделей — revision 5df63a7203cdb9328d824a27b682e77c7b9928be; Проверка имени запроса и формирование ModelCard с id и root; приватный root не публиковать.. Получено 01.11.2026.
- vLLM v0.32.0: маршрут GET /v1/models — revision 5df63a7203cdb9328d824a27b682e77c7b9928be; GET /v1/models; отдельный POST chat в исходнике chat_completion/api_router.py на том же commit.. Получено 01.11.2026.
- Qwen/Qwen3-0.6B: закреплённая ревизия модели — revision c1899de289a04d12100db370d81485cdf75e47ca; Конкретный учебный репозиторий; доступность ревизии подтверждена HF API, требований VRAM из размера файлов не выводим.. Получено 01.11.2026.
- vLLM v0.32.0: маршрут локального chat API — revision 5df63a7203cdb9328d824a27b682e77c7b9928be; POST /v1/chat/completions и формат ответа; пример curl проверяется только на заглушке.. Получено 01.11.2026.