vLLM на Windows через WSL 2: GPU, установка и проверка API

Можно ли установить vLLM прямо в Windows?

Нативная Windows-установка vLLM в официальном руководстве не поддерживается. Документация предлагает запуск Linux-дистрибутива в WSL либо сторонние community forks; этот гайд разбирает только первый путь, без рекомендаций неподтверждённого форка s1. Не переносите Linux-команды в обычную PowerShell: WSL даёт отдельное Linux-окружение, а NVIDIA CUDA подключается к нему через драйвер Windows s5s7.

Для кого подходит маршрут: у вас Windows, совместимая с WSL 2 видеокарта NVIDIA и нужна серверная модель с локальным HTTP API. Если на машине AMD или Intel, не подставляйте её в показанные ниже CUDA-команды: у vLLM есть отдельные backend-инструкции ROCm и Intel XPU, но их пригодность к вашей Windows/WSL-конфигурации этим гайдом не доказана s1s3. Если запуск нужен без WSL, начните с обзора Ollama, не называя альтернативный runtime эквивалентом vLLM.

Что проверить до скачивания модели?

В срезе quickstart vLLM указаны Linux и Python 3.10–3.13; пример NVIDIA использует Python 3.12 s3. Раздел CUDA задаёт compute capability не ниже 7.5 и рекомендует чистую среду из-за несовместимости сборок CUDA/PyTorch s2. Это проверка класса GPU, не минимальная VRAM: объём памяти для конкретной модели и контекста зависит от конфигурации. Сначала запишите модель видеокарты и проверьте её поддержку по официальной таблице NVIDIA, затем оцените свой запас памяти по гайду видеокарт.

Для CUDA в WSL NVIDIA требует установленный на хосте Windows совместимый драйвер. Внутри дистрибутива WSL не ставьте Linux display driver NVIDIA: он может заменить проброшенный драйвер и нарушить CUDA-путь s7. Даже если nvidia-smi отвечает, это проверка видимости GPU, а не доказательство, что vLLM загрузит модель или что ей хватит VRAM s7.

Как подготовить WSL 2 и убедиться, что GPU виден?

В PowerShell с правами администратора, до входа в Linux, Microsoft описывает установку WSL командой ниже; после установки перезагрузите компьютер и создайте Linux-пользователя в дистрибутиве s5:

wsl --install

В PowerShell проверьте состояние, при необходимости обновите WSL; столбец VERSION для дистрибутива должен показывать 2, иначе CUDA-инструкцию дальше не выполняйте s6s7:

wsl --list --verbose
wsl --update

Далее откройте установленный Linux-дистрибутив. Только в терминале WSL/Linux, до установки vLLM:

nvidia-smi || /usr/lib/wsl/lib/nvidia-smi
python3 --version

NVIDIA документирует ограниченный набор функций nvidia-smi под WSL и резервный путь /usr/lib/wsl/lib/nvidia-smi, если команда не найдена в PATH s7. Если оба обращения к GPU не работают, возвращайтесь к версии WSL и Windows-драйверу. Вывод python3 --version сравните с диапазоном quickstart; если ваша версия вне 3.10–3.13, подготовьте поддерживаемый Python для отдельной среды, а не меняйте системный Python наугад s3.

Как поставить vLLM и проверить модель в WSL?

В Linux-дистрибутиве после установки uv по официальной инструкции самого менеджера vLLM предлагает создать отдельную среду и установить NVIDIA-сборку с выбором backend PyTorch по драйверу s2s3:

uv venv --python 3.12 --seed
source .venv/bin/activate
uv pip install vllm --torch-backend=auto
vllm --version

Это сетевые команды, которые скачивают пакеты; версия без фиксации в команде может измениться позже проверенного среза v0.30.0. Запишите фактически установленные версии vLLM, PyTorch и CUDA. Если uv не установлен или Python 3.12 недоступен, не придумывайте бинарник: откройте первоисточник s3 ниже и перейдите по его ссылке на установку uv; затем подготовьте поддерживаемый Python s3. Если подбор PyTorch/CUDA не проходит, вернитесь к выбранному драйверу и инструкции по конкретной CUDA-сборке s2.

В карточке исходной модели Qwen/Qwen2.5-1.5B-Instruct на Hugging Face доступна закреплённая ревизия 989aa7980e4cf806f80c7fef2b1adb7bc71aa306; quickstart vLLM использует именно этот репозиторий как пример, но команда ниже без опции фиксации ревизии загрузит его состояние на момент вашего запуска s3s8. Успех на другой ревизии или версии vLLM нельзя автоматически приписать закреплённому срезу. Для воспроизводимого теста отдельно зафиксируйте ID ревизии модели и фактические версии программ. Размер файла модели не равен требуемой RAM/VRAM; при нехватке ресурсов выбирайте иную модель после отдельной оценки.

В активированной среде WSL/Linux, в первом терминале:

vllm serve Qwen/Qwen2.5-1.5B-Instruct --host 127.0.0.1 --port 8000

Ограничение --host 127.0.0.1 для локального опыта — редакционное решение, не доказательство полного отсутствия исходящего трафика: установка и скачивание весов обращаются в сеть. Quickstart описывает vllm serve, адрес сервера и модель из примера; Chat Completions работает для текстовых моделей при наличии chat template s3s4.

Во втором терминале того же WSL-дистрибутива проверьте наличие модели, затем запросите ответ s3s4:

curl -fsS http://127.0.0.1:8000/v1/models
curl -fsS http://127.0.0.1:8000/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model":"Qwen/Qwen2.5-1.5B-Instruct","messages":[{"role":"user","content":"Ответь одним словом: тест"}],"max_tokens":32}'

Критерий результата на вашей машине: сервер загрузил ожидаемую модель без CUDA/OOM-ошибки, /v1/models показал нужный ID, а запрос вернул HTTP без ошибки и JSON с непустым choices[0].message.content. Если отвечает только список моделей или проверка GPU, инференс ещё не подтверждён. Modelium эти команды в WSL не выполнял и модель не запускал.

Почему запуск может не пройти и как отменить пробу?

• wsl --list --verbose показывает версию 1: не продолжайте CUDA-путь — эта инструкция NVIDIA относится к WSL 2. Сверьтесь с командой смены версии дистрибутива в документации Microsoft и повторно проверьте результат s6s7.
• nvidia-smi не виден в Linux: сначала попробуйте задокументированный путь /usr/lib/wsl/lib/nvidia-smi, затем проверьте Windows-драйвер, а не ставьте Linux-драйвер NVIDIA в WSL s7.
• Несовместимая сборка или ошибка CUDA: сохраните vllm --version, версию Python, вывод GPU-команды и точный traceback; официальное руководство предупреждает о бинарной несовместимости CUDA/PyTorch и предлагает чистую среду s2.
• CUDA отвечает, но модель не загружается: проверьте compute capability и доступные ресурсы; требования GPU из документации не задают минимальную VRAM для конкретной модели s2. Не объявляйте тест успешным без ответа Chat Completions.
• API не отвечает: проверьте, запущен ли сервер в первом окне и есть ли ошибка в его логе. Отладку сначала выполняйте внутри WSL, а не на Windows-хосте: доступ между ними — отдельная сетевая настройка.

Для отмены остановите сервер Ctrl+C в первом Linux-терминале и удалите только созданную для этой пробы виртуальную среду после сохранения версий и логов. Не удаляйте дистрибутив WSL ради сброса одного пакета. Если позднее откроете сервер в сеть, одного --api-key недостаточно: документация vLLM предупреждает, что некоторые пути, в том числе /invocations, этим флагом не защищены s4.

Основной следующий шаг: откройте общий гайд vLLM, сверьте конкретную модель и GPU, затем сохраните собственный JSON-ответ из WSL или точную ошибку. До этого конфигурация не подтверждена.