# llama.cpp b11461 ускоряет обработку промпта на AMD iGPU через Vulkan

Источник: https://modelium.tech/zhurnal/llama-cpp-b11461-amd-igpu-vulkan-prompt-fix/

В предварительной сборке llama.cpp b11461 исправлено медленное чтение контрольных данных из некэшируемой памяти на интегрированной графике AMD при работе через Vulkan. Автор патча сообщил о снижении времени обработки промпта в своём тесте; это не обещание ускорения генерации или результат независимого тестирования.

## Что произошло

7 октября 2026 года в **llama.cpp b11461** вошло исправление медленного чтения данных на интегрированных GPU AMD через Vulkan. Pull request #30049 влит в основной код, а тег b11461 указывает непосредственно на его merge-коммит. Сборка выпущена как **pre-release**, а не как стабильный номерной релиз. В списке файлов есть готовые Vulkan-архивы для Ubuntu и Windows, включая x64; наличие архива не означает, что мы проверили его на конкретном устройстве. [s1](#src-s1) [s2](#src-s2)

## Почему это может быть важно

Раньше код чтения 2D-буфера для устройства с общей памятью (UMA) мог обращаться к видимой хосту памяти через CPU. Патч отдельно распознаёт сочетание **AMD + некэшируемая host-visible memory** и в этом случае обходит прежний прямой путь чтения; остальная ветка выбирается в соответствии с уже существующей логикой Vulkan. Изменено несколько строк в `ggml-vulkan-buffers.cpp`, а не вся реализация инференса. Это узкое исправление для соответствующего пути чтения, не универсальная оптимизация Vulkan на любых GPU. [s2](#src-s2)

Автор PR приводит измерения на **Radeon 8060S**, модели **Qwen3.5-4B UD-Q4_K_XL** и промптах бенчмарка Lemonade. Для первого прогона с 24–333 токенами он получил 600–1024 мс `prompt_ms` до исправления и 95–286 мс после; для повторных прогонов с четырьмя токенами — около 290 мс против 42 мс. В том же сравнении ROCm показал соответственно 86–331 и около 40 мс. Это **измерения автора на указанном сценарии**: диапазоны первого прогона нельзя сводить к одному коэффициенту ускорения, а показатели обработки промпта нельзя называть скоростью генерации токенов или переносить на другие модели и GPU. Modelium собственных замеров не проводил. [s2](#src-s2)

## Что делать пользователю

Если локальный запуск на AMD iGPU через Vulkan даёт долгую обработку промпта, сравните свой текущий билд с официальной сборкой **b11461 или более новой, содержащей этот коммит**, на одном устройстве, одной модели, одинаковом числе входных токенов и с теми же параметрами. Смотрите отдельно время первого и повторного запроса и убедитесь, что реально выбран Vulkan backend. Проверяйте также корректность ответа и расход памяти: PR показывает узкий тест задержки, а не полную аттестацию всех режимов. Сначала сохраните работающую версию для отката. [s1](#src-s1) [s2](#src-s2)

Проект llama.cpp распространяет исходный код по MIT; это **не** определяет условия использования весов выбранной модели. Сам тег b11461 остаётся ежедневной предварительной сборкой, поэтому для критичного сервиса разумно испытать её на собственном наборе запросов до замены установленной версии. [s1](#src-s1) [s3](#src-s3)

## Источники

1. [ggml-org/llama.cpp — release b11461](https://github.com/ggml-org/llama.cpp/releases/tag/b11461) — получено 2026-10-07
2. [ggml-org/llama.cpp — PR #30049: Vulkan AMD iGPU slow checkpoint read](https://github.com/ggml-org/llama.cpp/pull/30049) — получено 2026-10-07
3. [ggml-org/llama.cpp — MIT LICENSE at b11461](https://github.com/ggml-org/llama.cpp/blob/b11461/LICENSE) — получено 2026-10-07