Ollama на AMD Radeon: ROCm или Vulkan на Windows и Linux

Что выбрать: ROCm или Vulkan?

Короткий маршрут: ваш локальный текстовый запрос → конкретный тег модели → модель Radeon и драйвер → Ollama с ROCm либо Vulkan → ответ → ollama ps и журнал сервера. В этой статье под «ускорением» понимается размещение весов/вычислений на GPU, а не обещание большей скорости. Для проверки нужен простой текстовый запрос; пригодность модели для ваших документов и задач проверяется отдельно.

ROCm — путь AMD, если именно ваша карта и операционная система присутствуют в таблице Ollama и установлен подходящий драйвер. Vulkan — отдельный backend с более широкой потенциальной совместимостью для Windows и Linux; на Linux могут потребоваться пакеты Vulkan, а на некоторых системах доступ Ollama к устройству. Ollama сообщает, что Vulkan включён по умолчанию при наличии установленного backend; это не гарантия GPU-режима для каждой карты s1s3. Не переносите Linux-таблицу ROCm на Windows: в зафиксированной документации список Radeon RX для Windows существенно короче s1.

Например, Ollama перечисляет RX 6800 XT в Linux-списке ROCm, но не в Windows-списке; руководство Windows отдельно предупреждает, что на части RX 6000 доступен Vulkan fallback, когда драйвер не предоставляет ROCm v7. Это различие документации, не наш тест RX 6800 XT и не обещание совместимости любого варианта RX 6000 s1s3. Подмена HSA_OVERRIDE_GFX_VERSION не превращает неподдерживаемое железо в официально поддерживаемое: пример такого override в документации предложен только как эксперимент для близких GFX-target на Linux s1.

Что проверить до установки на Linux?

Узнайте точное название карты, версию драйвера и наличие интерфейсов GPU на своей машине. Для ROCm в зафиксированной GPU-инструкции Ollama требуется драйвер ROCm v7 на Linux; документация AMD отдельно описывает установку подходящего драйвера через amdgpu-install. Конкретный пакет и ядро выбирайте по матрице вашей ОС и GPU у AMD, а не по цифре версии Ollama s1s6. Не запускайте amdgpu-install или не заменяйте драйвер вслепую на рабочей машине: изменение графического стека требует плана отката и может нарушить работу дисплея.

В терминале Linux соберите исходные данные до любых изменений:

lspci | grep -Ei 'VGA|Display|AMD'
ls -l /dev/kfd /dev/dri 2>/dev/null
id
command -v rocminfo && rocminfo
command -v vulkaninfo && vulkaninfo --summary

rocminfo из ROCm и vulkaninfo из Vulkan могут быть не установлены: отсутствие утилиты само по себе не доказывает отсутствие работающего GPU. На Linux Ollama для доступа к /dev/kfd может требовать членство служебного пользователя в группах video/render; при проблемах с правами сервер пишет ошибки обнаружения в лог s5. Дополнительно документация отмечает, что некоторым AMD/Vulkan системам нужен доступ пользователя ollama к группе render s1. Проверьте группы именно пользователя сервиса, а не только вашего аккаунта.

Документированный старт установки Ollama на Linux — curl -fsSL https://ollama.com/install.sh | sh; он меняет систему, поэтому сначала изучите скрипт и совместимость своей ОС. При ручной установке документация отдельно требует ROCm-архив ollama-linux-amd64-rocm.tar.zst сверх основного пакета; нельзя заключать из этого, что у любого автоматического установщика тот же набор компонентов. Инструкцию ручной установки выполняйте только после проверки архитектуры, драйвера и текущей версии s2. Для общей последовательности есть основной гайд Ollama.

Чем отличается путь на Windows?

Ollama для Windows устанавливается как нативное приложение: после установки команда ollama доступна в PowerShell/cmd, локальный API расположен по адресу http://localhost:11434. Документация на commit требует Windows 10 22H2 или новее; для ROCm — ROCm v7/HIP7-совместимый стек драйвера, либо Vulkan-совместимый драйвер Radeon для пути Vulkan s3. Текущую совместимость проверяйте по вашей версии Windows и Windows-строке GPU-таблицы, а не по Linux-строке s1s3.

Обычный инсталлятор и standalone ZIP не следует путать. Для standalone CLI руководство перечисляет отдельный ollama-windows-amd64-rocm.zip, который нужен дополнительно для ROCm; это не инструкция распаковывать ZIP поверх работающего обычного приложения без проверки его комплектации. Если меняете переменные окружения Windows, завершите приложение Ollama через tray и запустите снова: дочерний процесс должен получить обновлённое окружение s3s4. Не открывайте API на публичном интерфейсе только ради теста видеокарты: локального endpoint достаточно.

Как получить проверяемый первый ответ?

Возьмите подтверждённый в каталоге Ollama точный тег qwen3:0.6b как компактный технический пример, не как обещание качества, скорости или конкретного минимума VRAM s7. Размер файла весов сам по себе не задаёт минимальную память: учитывайте контекст, KV-кеш, другие процессы и способ распределения по CPU/GPU. Для работы со своими задачами выберите подходящую модель отдельно, а по памяти ориентируйтесь на гайд по видеокарте.

На Linux в обычном терминале или на Windows в PowerShell после установки выполните:

ollama --version
ollama run qwen3:0.6b "Ответь одним предложением: что такое локальная модель?"
ollama ps

Команды ollama run и ollama ps задокументированы в CLI; каталог подтверждает именно тег qwen3:0.6b s8s7. Первый run может скачивать веса: для этого нужен интернет; это не утверждение об офлайн-работе всего процесса. Ожидаемый критерий у вас: команда возвращает текст без ошибки, а сразу после неё ollama ps показывает выбранный тег и PROCESSOR. Если видите 100% GPU, модель загружена полностью в GPU; 100% CPU означает системную память; смешанное значение — частичное размещение. Эти определения взяты из FAQ Ollama, а не из нашего прогона s4. ollama ps не показывает реальную загрузку вычислительных блоков во время токенизации, не доказывает отсутствие сетевых обращений и сам по себе не сообщает, выбран ROCm или Vulkan; backend ищите в диагностическом журнале конкретной версии.

Сохраните у себя точные версии Ollama, ОС и драйвера, модель Radeon, тег и вывод ollama ps без закрытых данных. Не копируйте пример вывода из документации как будто это результат своей видеокарты. После первой проверки сравнивайте производительность только при одинаковых модели, кванте, контексте и запросах; здесь таких измерений нет s4.

Почему Ollama осталась на CPU или не видит Radeon?

1. Проверьте разницу ОС и списка ROCm. Карта может значиться в Linux-таблице, но отсутствовать в Windows-таблице. Тогда не обещайте ROCm на Windows; посмотрите, доступен ли документированный Vulkan-путь именно на вашей системе s1s3.
2. Сверьте драйвер и журналы. На Linux journalctl -u ollama --no-pager -n 100 показывает сообщения сервиса systemd; на Windows смотрите %LOCALAPPDATA%\Ollama\server.log. Ollama описывает timeout обнаружения GPU при несовместимости старого драйвера с включёнными ROCm 7 Linux-библиотеками и fallback на CPU. Это диагностическая гипотеза по журналу, а не универсальная причина всех 100% CPU s2s3s5.
3. Проверьте права на Linux. Посмотрите ls -l /dev/kfd /dev/dri/* и группы пользователя процесса; документация говорит об ошибке обнаружения при отсутствии разрешений. После корректировки прав перезапустите сервис и повторите ollama ps; не выдавайте смену группы за проверку, пока не получили ответ модели s5.
4. Разведите ROCm и Vulkan. На части Windows RX 6000 Vulkan указан как путь при недоступном ROCm v7; на Linux ему могут потребоваться отдельные компоненты. OLLAMA_VULKAN=0 в GPU-документации отключает Vulkan и не является способом его включить; не копируйте слепо старые рецепты переменных из форумов s1s3.
5. Не форсируйте target без контроля. HSA_OVERRIDE_GFX_VERSION — экспериментальный обход для отдельных Linux-карт с близким GFX-target, а не гарантированное решение. Запишите исходную конфигурацию, уберите override при ошибках, проверьте журнал и ответ. Для разных AMD GPU ROCm видимость задаётся ROCR_VISIBLE_DEVICES, а Vulkan видимость — GGML_VK_VISIBLE_DEVICES; их значения относятся к процессу сервера, не к уже завершившейся оболочке ollama run s1.

Когда GPU используется, но модель лишь частично размещена на нём, проверьте её фактическую потребность в памяти и объём контекста; переход к большему объёму VRAM не следует автоматически из одного поля PROCESSOR s4. О смысле квантов и файла GGUF — отдельный разбор. По завершении теста можно остановить/удалить тестовую модель командами ollama stop qwen3:0.6b и ollama rm qwen3:0.6b после проверки, что её больше не используют другие процессы s8. Основной следующий шаг после GPU-ответа — проверить сетевой контур: GPU-размещение и локальность данных — разные свойства.