vLLM на AMD ROCm: совместимость видеокарты и проверка API

Можно ли запустить vLLM с AMD GPU?

Да, но не с любой картой AMD. На закреплённом срезе vLLM поддерживает ROCm от 6.3 и перечисляет архитектуры MI200 gfx90a, MI300 gfx942, MI350 gfx950, Radeon RX 7900 gfx1100/1101, RX 9000 gfx1200/1201, Ryzen AI MAX / AI 300 gfx1151/1150. Для MI350 указан минимум ROCm 7.0, для Ryzen AI MAX / AI 300 — 7.0.2; это требования конкретного проекта, а не обещание запуска любой модели на каждой перечисленной карте s1.

Страница решает отдельную задачу: модель для локального текстового API → точная GPU-архитектура → ROCm и Linux → подходящая сборка vLLM → JSON-ответ и диагностика. Наличие вашей серии в списке не определяет доступную память: размеры весов, KV-кеш, длина контекста и параллельные запросы влияют на размещение. Для предварительной оценки откройте гайд по видеокарте; конкретный минимум VRAM здесь не утверждается. Близкая серия без нужного gfx-кода не считается подтверждённой совместимостью s1s5.

Какая ОС и версия ROCm нужны до установки?

Официальный GPU-раздел vLLM указывает Linux, общий диапазон Python 3.10–3.13 и прямо не поддерживает нативную Windows-установку. Windows/WSL — отдельная ветка, но описанный здесь Linux ROCm-путь нельзя без проверки переносить в WSL или на Windows-драйвер; гайд WSL относится к другому сценарию s2. Сначала сверяйте точную карту, версию Linux-дистрибутива и драйвер с матрицей ROCm AMD, затем с gfx-списком vLLM; поддержка в одном списке не доказывает поддержку всего стека s1s5.

Для готовых колёс на проверенной ревизии указан rocm700 под ROCm 7.0, Python 3.12 и glibc не ниже 2.35; вариант rocm721 под ROCm 7.2.1 описан для nightly-релизов. Это разные варианты, не взаимозаменяемые флаги. Общее «ROCm 6.3+ поддерживается» не значит, что для произвольной версии ROCm существует готовый стабильный wheel: альтернативой может стать сборка из исходников либо другая официальная конфигурация s1. Не обновляйте системный GPU-драйвер рабочей станции ради одной команды без плана отката.

До установки ничего не меняйте: в Linux проверьте python3 --version, ldd --version, rocminfo и ls -l /dev/kfd /dev/dri. Команда rocminfo может отсутствовать до установки ROCm; ошибка на этом этапе — повод сверить драйвер и инструкции AMD, не подставлять произвольный HSA_OVERRIDE_GFX_VERSION. Если rocminfo доступна, запишите gfx-идентификатор, но не считайте это ответом vLLM s1s5s6.

Как выбрать установку без подмены CUDA-пакета?

Для проверенного сочетания Linux + поддерживаемая карта + ROCm 7.0 + Python 3.12 + glibc ≥2.35 официальная инструкция vLLM предлагает отдельную среду uv venv --python 3.12 --seed --managed-python, её активацию source .venv/bin/activate, затем uv pip install vllm==0.18.0 --extra-index-url https://wheels.vllm.ai/rocm/0.18.0/rocm700 s1. Выполняйте эти команды только после установки uv по его документации и проверки источника пакетов; они скачивают ПО из сети, а в вашем окружении версия PyTorch/ROCm может потребовать иной путь. Сохраните вывод vllm --version, python3 --version и rocminfo для диагностики s1.

Почему именно 3.12? Авторы предупреждают: при другой версии Python установка через PyPI может незаметно выбрать CUDA-wheel и закончиться ошибкой libcudart.so; использовать обычное pip install vllm как ROCm-инструкцию нельзя s1. У авторов есть также ROCm-контейнер vllm/vllm-openai-rocm, но приведённый ими Docker-запуск пробрасывает /dev/kfd и /dev/dri, использует --cap-add=SYS_PTRACE и seccomp=unconfined. Это расширенные привилегии, не безопасный шаблон для многопользовательского или открытого сервера: отдельно оцените необходимость флагов и ограничения хоста по руководствам AMD и Docker s1s6s7. Старые образы rocm/vllm в документации vLLM названы deprecated; не смешивайте их с официальным образом vLLM s1.

Для непривилегированного локального опыта путь через отдельную Python-среду проще анализировать, но он не изолирует модель от всех файлов хоста. Не используйте приватные документы и токены в пробном запросе. Даже при работе на 127.0.0.1 установка пакетов и скачивание весов обращаются во внешнюю сеть; локальный адрес API не доказывает офлайн-контур.

Как получить именно ответ модели, а не только видимость GPU?

В карточке Qwen/Qwen3-0.6B есть текстовая модель и chat template, автор отдельно приводит vLLM как вариант развёртывания; это кандидат для теста интерфейса, не гарантия размещения на вашей карте и не измеренный минимум памяти s8. Зафиксированная карточка имеет ревизию c1899de289a04d12100db370d81485cdf75e47ca; команда ниже с именем репозитория без флага revision скачает его состояние на момент вашего запуска. Зафиксируйте ревизию фактически скачанных весов для воспроизводимости, не приписывайте текущему состоянию свойства закреплённой карточки s8.

После установки и проверки окружения запустите в первом Linux-терминале vllm serve Qwen/Qwen3-0.6B --host 127.0.0.1 --port 8000. --host ограничивает прослушивание локальным интерфейсом; конкретную модель и её совместимость подтвердит только результат запуска. У vLLM Chat Completions применим к текстовой модели с chat template, а список моделей доступен через HTTP API s3s4s8. В другом терминале запросите curl -fsS http://127.0.0.1:8000/v1/models, затем curl -fsS http://127.0.0.1:8000/v1/chat/completions -H 'Content-Type: application/json' -d '{"model":"Qwen/Qwen3-0.6B","messages":[{"role":"user","content":"Ответь одним словом: готово"}],"max_tokens":32}' s3s4.

Критерий успеха на вашей машине: сервер без ошибки загрузил нужный ID, /v1/models показал выбранную модель, а Chat Completions вернул HTTP 200 и JSON с choices[0].message. Для Qwen3 может отдельно присутствовать содержимое рассуждения; не требуйте буквально заданного слова. Сохраните журнал запуска и фактическую версию сборки; сопоставьте логи устройства с ответом API. Только успешный /v1/models либо rocminfo не доказывает успешный инференс. Modelium не запускал эти команды и не измерял скорость или качество s1s3s8.

Что делать при ошибке и как завершить пробу?

• GPU не виден в rocminfo или нет /dev/kfd: проверьте драйвер, членство пользователя в нужных группах и матрицу GPU/ОС AMD; для контейнера отдельно нужны проброс устройств и разрешения. Это предварительная системная диагностика, не ошибка модели s5s6.
• libcudart.so после установки: проверьте Python 3.12, rocm700 и источник wheel; документация vLLM предупреждает о тихой подмене CUDA-пакетом. Не переключайтесь на случайный nightly без проверки ROCm-варианта s1.
• Модель не загружается или возникает ошибка памяти: проверьте точный gfx, версию ROCm, фактическую сборку и лог загрузки, а затем уменьшайте контекст или выбирайте подходящий размер модели. Список поддерживаемых GPU не задаёт минимум памяти для всех весов s1s8.
• Есть ответ /v1/models, но нет Chat Completions: проверьте ID модели, chat template и JSON-тело запроса; тест списка моделей не подменяет генерацию s3s4.

Остановите пробный сервер Ctrl+C в первом терминале. После сохранения логов удаляйте только созданную под тест виртуальную среду, если она больше не нужна; драйвер ROCm и общие зависимости хоста не удаляйте вслепую. Если позже сервер понадобится за пределами localhost, нужен отдельный сетевой контроль: документация vLLM прямо говорит, что --api-key не защищает все пути, включая /invocations; одного API-ключа недостаточно для открытого сетевого развёртывания s4.

Следующий шаг: откройте общий гайд vLLM, сопоставьте выбранную модель с памятью и сохраните свой локальный ответ Chat Completions вместе с версией ROCm или точную ошибку для повторной диагностики.