vLLM: как задать долю памяти GPU при запуске модели

Что означает число и что подготовить?

В v0.32.0 значение по умолчанию — 0.92, а допустимая доля больше нуля и не больше единицы. Например, 0.8 — учебное значение, а не универсальная рекомендация или гарантия, что останется ровно 20% свободной памяти. Параметр относится к текущему экземпляру: запущенные рядом программы и другие экземпляры vLLM не координируют свои лимиты автоматически. Если вы задали --kv-cache-memory-bytes, этот ручной размер KV-кеша имеет приоритет и доля перестаёт управлять его расчётом. s1 s4

Перед запуском убедитесь, что ваша установленная версия vLLM понимает этот флаг, а GPU видна через nvidia-smi. Для примера возьмём Qwen/Qwen2.5-1.5B-Instruct из официального Quickstart vLLM; это не обещание, что модель поместится на любой видеокарте. Её веса потребуется предварительно получить из Hugging Face, если они ещё не кешированы; во время такой загрузки нужен интернет. Оцените свободное место для файлов и совместимость своей видеокарты отдельно. s3 s5 s6 s7

Как задать долю и увидеть результат?

Откройте терминал Linux и запустите vllm serve Qwen/Qwen2.5-1.5B-Instruct --host 127.0.0.1 --gpu-memory-utilization 0.8. Адрес 127.0.0.1 оставляет учебный сервер доступным на этом компьютере, не публикуя его в локальной сети. Если загрузка завершилась, сервер должен остаться запущенным; в его журнале найдите сообщение Available KV cache memory и проверьте, не появилось ли ошибки выделения памяти. Если он остановился с ошибкой, это не успешная настройка. s1 s2 s3 s4

Оставив сервер открытым, в другом терминале выполните curl http://127.0.0.1:8000/v1/models: в ответе ищите идентификатор Qwen/Qwen2.5-1.5B-Instruct. Это проверяет список моделей, но не ответ модели. Затем отправьте учебный запрос: curl -sS http://127.0.0.1:8000/v1/chat/completions -H 'Content-Type: application/json' -d '{"model":"Qwen/Qwen2.5-1.5B-Instruct","messages":[{"role":"user","content":"Напиши одно слово: тест"}],"max_tokens":32}'. В JSON-ответе проверьте наличие choices и текста ответа; точное слово модель может не повторить. Доступность API и полезность ответа — разные проверки. s3

Во время работы вызовите nvidia-smi ещё раз и сравните занятую память GPU с состоянием до запуска. Это показывает общую фактическую занятость GPU на вашей машине, включая другие процессы; одно число не измеряет отдельно расход vLLM и не доказывает жёсткий потолок 0.8. После проверки остановите учебный сервер клавишами Ctrl+C в первом терминале и снова посмотрите nvidia-smi. s1 s4 s7

Если запуск не удался

Если в логе нет доступного KV-кеша либо возникает ошибка памяти, сначала проверьте, есть ли параллельные GPU-процессы, верно ли выбрана модель и не задан ли отдельно --kv-cache-memory-bytes. Меньшее число может оставить меньше места под KV-кеш и тоже помешать запуску; большее может конфликтовать с другими процессами. Не увеличивайте долю вслепую и не считайте размер файла весов минимальным объёмом VRAM. Для следующего шага откройте оценку памяти для конкретной модели. s1 s4 s7