# vLLM на Windows через WSL 2: GPU, установка и проверка API

Источник: https://modelium.tech/zhurnal/vllm-windows-wsl/

vLLM не поддерживает Windows нативно: для этой конфигурации используйте WSL 2 с Linux и совместимым NVIDIA GPU. Сначала проверьте версию WSL и доступность GPU из Linux, затем установите vLLM в отдельную среду и получите ответ от локального API. Это не обещание работы на любой видеокарте: совместимость CUDA и память для выбранной модели проверяются отдельно.

**Проверено по документации 27 сентября 2026 года.** Инструкции vLLM ниже сверены с Git-ревизией `ced6857` версии `v0.30.0`; Microsoft и NVIDIA — с полученными в этот день страницами [s1](#src-s1)[s3](#src-s3)[s5](#src-s5)[s7](#src-s7). Это маршрут проверки на **вашем** Windows-компьютере, а не результат лабораторного запуска Modelium.

## Можно ли установить vLLM прямо в Windows?

Нативная Windows-установка vLLM в официальном руководстве **не поддерживается**. Документация предлагает запуск Linux-дистрибутива в WSL либо сторонние community forks; этот гайд разбирает только первый путь, без рекомендаций неподтверждённого форка [s1](#src-s1). Не переносите Linux-команды в обычную PowerShell: WSL даёт отдельное Linux-окружение, а NVIDIA CUDA подключается к нему через драйвер Windows [s5](#src-s5)[s7](#src-s7).

Для кого подходит маршрут: у вас Windows, совместимая с WSL 2 видеокарта NVIDIA и нужна серверная модель с локальным HTTP API. Если на машине AMD или Intel, не подставляйте её в показанные ниже **CUDA**-команды: у vLLM есть отдельные backend-инструкции ROCm и Intel XPU, но их пригодность к вашей Windows/WSL-конфигурации этим гайдом не доказана [s1](#src-s1)[s3](#src-s3). Если запуск нужен без WSL, начните с [обзора Ollama](/zapusk/ollama/), не называя альтернативный runtime эквивалентом vLLM.

## Что проверить до скачивания модели?

В срезе quickstart vLLM указаны Linux и Python 3.10–3.13; пример NVIDIA использует Python 3.12 [s3](#src-s3). Раздел CUDA задаёт **compute capability не ниже 7.5** и рекомендует чистую среду из-за несовместимости сборок CUDA/PyTorch [s2](#src-s2). Это проверка класса GPU, **не минимальная VRAM**: объём памяти для конкретной модели и контекста зависит от конфигурации. Сначала запишите модель видеокарты и проверьте её поддержку по официальной таблице NVIDIA, затем оцените свой запас памяти по [гайду видеокарт](/zhurnal/videokarta-dlya-llm/).

Для CUDA в WSL NVIDIA требует установленный на **хосте Windows** совместимый драйвер. Внутри дистрибутива WSL **не ставьте Linux display driver NVIDIA**: он может заменить проброшенный драйвер и нарушить CUDA-путь [s7](#src-s7). Даже если `nvidia-smi` отвечает, это проверка видимости GPU, а не доказательство, что vLLM загрузит модель или что ей хватит VRAM [s7](#src-s7).

## Как подготовить WSL 2 и убедиться, что GPU виден?

**В PowerShell с правами администратора**, до входа в Linux, Microsoft описывает установку WSL командой ниже; после установки перезагрузите компьютер и создайте Linux-пользователя в дистрибутиве [s5](#src-s5):

wsl --install

**В PowerShell** проверьте состояние, при необходимости обновите WSL; столбец `VERSION` для дистрибутива должен показывать `2`, иначе CUDA-инструкцию дальше не выполняйте [s6](#src-s6)[s7](#src-s7):

wsl --list --verbosewsl --update

Далее откройте установленный Linux-дистрибутив. **Только в терминале WSL/Linux**, до установки vLLM:

nvidia-smi || /usr/lib/wsl/lib/nvidia-smipython3 --version

NVIDIA документирует ограниченный набор функций `nvidia-smi` под WSL и резервный путь `/usr/lib/wsl/lib/nvidia-smi`, если команда не найдена в `PATH` [s7](#src-s7). Если оба обращения к GPU не работают, возвращайтесь к версии WSL и Windows-драйверу. Вывод `python3 --version` сравните с диапазоном quickstart; если ваша версия вне 3.10–3.13, подготовьте поддерживаемый Python для отдельной среды, а не меняйте системный Python наугад [s3](#src-s3).

## Как поставить vLLM и проверить модель в WSL?

В Linux-дистрибутиве после установки `uv` **по официальной инструкции самого менеджера** vLLM предлагает создать отдельную среду и установить NVIDIA-сборку с выбором backend PyTorch по драйверу [s2](#src-s2)[s3](#src-s3):

uv venv --python 3.12 --seedsource .venv/bin/activateuv pip install vllm --torch-backend=autovllm --version

Это сетевые команды, которые скачивают пакеты; версия без фиксации в команде может измениться позже проверенного среза `v0.30.0`. Запишите фактически установленные версии vLLM, PyTorch и CUDA. Если `uv` не установлен или Python 3.12 недоступен, не придумывайте бинарник: откройте первоисточник `s3` ниже и перейдите по его ссылке на установку `uv`; затем подготовьте поддерживаемый Python [s3](#src-s3). Если подбор PyTorch/CUDA не проходит, вернитесь к выбранному драйверу и инструкции по конкретной CUDA-сборке [s2](#src-s2).

В карточке исходной модели `Qwen/Qwen2.5-1.5B-Instruct` на Hugging Face доступна закреплённая ревизия `989aa7980e4cf806f80c7fef2b1adb7bc71aa306`; quickstart vLLM использует именно этот **репозиторий** как пример, но команда ниже без опции фиксации ревизии загрузит его состояние на момент вашего запуска [s3](#src-s3)[s8](#src-s8). Успех на другой ревизии или версии vLLM нельзя автоматически приписать закреплённому срезу. Для воспроизводимого теста отдельно зафиксируйте ID ревизии модели и фактические версии программ. Размер файла модели не равен требуемой RAM/VRAM; при нехватке ресурсов выбирайте иную модель после отдельной оценки.

В активированной среде **WSL/Linux**, в первом терминале:

vllm serve Qwen/Qwen2.5-1.5B-Instruct --host 127.0.0.1 --port 8000

Ограничение `--host 127.0.0.1` для локального опыта — редакционное решение, не доказательство полного отсутствия исходящего трафика: установка и скачивание весов обращаются в сеть. Quickstart описывает `vllm serve`, адрес сервера и модель из примера; Chat Completions работает для текстовых моделей при наличии chat template [s3](#src-s3)[s4](#src-s4).

**Во втором терминале того же WSL-дистрибутива** проверьте наличие модели, затем запросите ответ [s3](#src-s3)[s4](#src-s4):

curl -fsS http://127.0.0.1:8000/v1/modelscurl -fsS http://127.0.0.1:8000/v1/chat/completions \  -H 'Content-Type: application/json' \  -d '{"model":"Qwen/Qwen2.5-1.5B-Instruct","messages":[{"role":"user","content":"Ответь одним словом: тест"}],"max_tokens":32}'

**Критерий результата на вашей машине:** сервер загрузил ожидаемую модель без CUDA/OOM-ошибки, `/v1/models` показал нужный ID, а запрос вернул HTTP без ошибки и JSON с непустым `choices[0].message.content`. Если отвечает только список моделей или проверка GPU, **инференс ещё не подтверждён**. Modelium эти команды в WSL не выполнял и модель не запускал.

## Почему запуск может не пройти и как отменить пробу?

- `**wsl --list --verbose**`** показывает версию 1:** не продолжайте CUDA-путь — эта инструкция NVIDIA относится к WSL 2. Сверьтесь с командой смены версии дистрибутива в документации Microsoft и повторно проверьте результат [s6](#src-s6)[s7](#src-s7).

- `**nvidia-smi**`** не виден в Linux:** сначала попробуйте задокументированный путь `/usr/lib/wsl/lib/nvidia-smi`, затем проверьте Windows-драйвер, а не ставьте Linux-драйвер NVIDIA в WSL [s7](#src-s7).

- **Несовместимая сборка или ошибка CUDA:** сохраните `vllm --version`, версию Python, вывод GPU-команды и точный traceback; официальное руководство предупреждает о бинарной несовместимости CUDA/PyTorch и предлагает чистую среду [s2](#src-s2).

- **CUDA отвечает, но модель не загружается:** проверьте compute capability и доступные ресурсы; требования GPU из документации не задают минимальную VRAM для конкретной модели [s2](#src-s2). Не объявляйте тест успешным без ответа Chat Completions.

- **API не отвечает:** проверьте, запущен ли сервер в первом окне и есть ли ошибка в его логе. Отладку сначала выполняйте **внутри WSL**, а не на Windows-хосте: доступ между ними — отдельная сетевая настройка.

Для отмены остановите сервер `Ctrl+C` в первом Linux-терминале и удалите **только созданную для этой пробы** виртуальную среду после сохранения версий и логов. Не удаляйте дистрибутив WSL ради сброса одного пакета. Если позднее откроете сервер в сеть, одного `--api-key` недостаточно: документация vLLM предупреждает, что некоторые пути, в том числе `/invocations`, этим флагом не защищены [s4](#src-s4).

**Основной следующий шаг:** откройте [общий гайд vLLM](/zhurnal/vllm/), сверьте конкретную модель и GPU, затем сохраните собственный JSON-ответ из WSL или точную ошибку. До этого конфигурация не подтверждена.

## Источники

1. [vLLM v0.30.0 — GPU installation: Windows/WSL](https://github.com/vllm-project/vllm/blob/ced6857afa0ea7b2e3f0846a62e1394e90f15607/docs/getting_started/installation/gpu.md) — получено 2026-09-27
2. [vLLM v0.30.0 — NVIDIA CUDA requirements and wheels](https://github.com/vllm-project/vllm/blob/ced6857afa0ea7b2e3f0846a62e1394e90f15607/docs/getting_started/installation/gpu.cuda.inc.md) — получено 2026-09-27
3. [vLLM v0.30.0 — Quickstart](https://github.com/vllm-project/vllm/blob/ced6857afa0ea7b2e3f0846a62e1394e90f15607/docs/getting_started/quickstart.md) — получено 2026-09-27
4. [vLLM v0.30.0 — OpenAI-compatible server and API security](https://github.com/vllm-project/vllm/blob/ced6857afa0ea7b2e3f0846a62e1394e90f15607/docs/serving/online_serving/openai_compatible_server.md) — получено 2026-09-27
5. [Microsoft Learn — Install WSL](https://learn.microsoft.com/en-us/windows/wsl/install) — получено 2026-09-27
6. [Microsoft Learn — Basic commands for WSL](https://learn.microsoft.com/en-us/windows/wsl/basic-commands) — получено 2026-09-27
7. [NVIDIA — CUDA on WSL User Guide](https://docs.nvidia.com/cuda/wsl-user-guide/) — получено 2026-09-27
8. [Qwen/Qwen2.5-1.5B-Instruct — закреплённая карточка](https://huggingface.co/Qwen/Qwen2.5-1.5B-Instruct/blob/989aa7980e4cf806f80c7fef2b1adb7bc71aa306/README.md) — получено 2026-09-27