llama.cpp b11461 ускоряет обработку промпта на AMD iGPU через Vulkan

Что произошло

7 октября 2026 года в llama.cpp b11461 вошло исправление медленного чтения данных на интегрированных GPU AMD через Vulkan. Pull request #30049 влит в основной код, а тег b11461 указывает непосредственно на его merge-коммит. Сборка выпущена как pre-release, а не как стабильный номерной релиз. В списке файлов есть готовые Vulkan-архивы для Ubuntu и Windows, включая x64; наличие архива не означает, что мы проверили его на конкретном устройстве. s1 s2

Почему это может быть важно

Раньше код чтения 2D-буфера для устройства с общей памятью (UMA) мог обращаться к видимой хосту памяти через CPU. Патч отдельно распознаёт сочетание AMD + некэшируемая host-visible memory и в этом случае обходит прежний прямой путь чтения; остальная ветка выбирается в соответствии с уже существующей логикой Vulkan. Изменено несколько строк в ggml-vulkan-buffers.cpp, а не вся реализация инференса. Это узкое исправление для соответствующего пути чтения, не универсальная оптимизация Vulkan на любых GPU. s2

Автор PR приводит измерения на Radeon 8060S, модели Qwen3.5-4B UD-Q4_K_XL и промптах бенчмарка Lemonade. Для первого прогона с 24–333 токенами он получил 600–1024 мс prompt_ms до исправления и 95–286 мс после; для повторных прогонов с четырьмя токенами — около 290 мс против 42 мс. В том же сравнении ROCm показал соответственно 86–331 и около 40 мс. Это измерения автора на указанном сценарии: диапазоны первого прогона нельзя сводить к одному коэффициенту ускорения, а показатели обработки промпта нельзя называть скоростью генерации токенов или переносить на другие модели и GPU. Modelium собственных замеров не проводил. s2

Что делать пользователю

Если локальный запуск на AMD iGPU через Vulkan даёт долгую обработку промпта, сравните свой текущий билд с официальной сборкой b11461 или более новой, содержащей этот коммит, на одном устройстве, одной модели, одинаковом числе входных токенов и с теми же параметрами. Смотрите отдельно время первого и повторного запроса и убедитесь, что реально выбран Vulkan backend. Проверяйте также корректность ответа и расход памяти: PR показывает узкий тест задержки, а не полную аттестацию всех режимов. Сначала сохраните работающую версию для отката. s1 s2

Проект llama.cpp распространяет исходный код по MIT; это не определяет условия использования весов выбранной модели. Сам тег b11461 остаётся ежедневной предварительной сборкой, поэтому для критичного сервиса разумно испытать её на собственном наборе запросов до замены установленной версии. s1 s3