llama.cpp b11160 ускоряет Vulkan-инференс на AMD RDNA 3/4
На странице · 2 разделов
24 сентября 2026 года в предварительную сборку llama.cpp b11160 вошёл INT8-шейдер матричного умножения для Vulkan на AMD RDNA 3/4. По замерам автора PR, на Radeon 8060S обработка 512 токенов Qwen3.8-27B Q4_K_M выросла с 186,5 до 254,1 токена/с, а на Radeon AI PRO R9700 у gpt-oss-20B MXFP4 — с 3936 до 5631 токена/с. Это не новый релиз весов и не универсальное ускорение генерации; на разных архитектурах и квантизациях эффект различается.
24 сентября 2026 года проект llama.cpp выпустил предварительную сборку b11160. В неё вошёл новый шейдер квантованного матричного умножения INT8 через Vulkan cooperative matrix для видеоускорителей AMD семейств RDNA 3 и RDNA 4. PR #27952 был смержен в 13:18 UTC; тег b11160 опубликован в 13:50 UTC и указывает на тот же коммит. Это обновление движка локального инференса, а не выпуск новых весов модели. s1 s2
Где виден эффект
Автор изменения сравнил Vulkan до и после патча и отдельно ROCm на двух устройствах в llama-bench при pp512 — обработке промпта длиной 512 токенов. На AMD Radeon 8060S (Strix Halo, RDNA 3.5) модель Qwen3.8-27B в Q4_K_M показала 186,5 → 254,1 токена/с для Vulkan; gpt-oss-20B в MXFP4 — 1071,6 → 1410,5 токена/с. На Radeon AI PRO R9700 (RDNA 4) у gpt-oss-20B MXFP4 — 3936 → 5631 токенов/с, а у Qwen3.6-35B-A3B Q4_K_M — 2760 → 3365 токенов/с. Это замеры автора PR, не тесты Modelium и не обещание такого же результата на другой системе. pp512 не описывает скорость выдачи отдельных токенов при генерации. s2
Шейдер работает с рядом GGUF-квантизаций, включая Q4_0, Q8_0, Q4_K, Q6_K, MXFP4 и NVFP4. Улучшение неоднородно: на RDNA 4 некоторые варианты используют прежний путь из-за проигрыша нового шейдера, а для части MUL_MAT_ID авторские микротесты показывают замедление. Указанные в таблице видеокарты — конфигурации авторских измерений, не минимальные аппаратные требования к моделям. s2
Что делать пользователю
Для оценки на своей AMD-системе можно взять официальную Vulkan-сборку b11160 для Windows x64 либо Ubuntu x64/arm64, выбрать локальный GGUF и сравнить обработку промпта с прежней сборкой на одинаковой модели, длине промпта и настройках. Наличие архива подтверждено релизом; совместимость конкретного драйвера и выигрыш на вашем устройстве нужно проверять отдельно. Поддержка в PR специально ограничена архитектурами RDNA 3/4 — распространять результаты на другие GPU нельзя. s1 s2
Важно: b11160 помечена как prerelease, хотя официальные бинарные архивы доступны. Это не новая стабильная версия llama.cpp; последние стабильные изменения и дальнейшие исправления следует отслеживать отдельно. Код llama.cpp распространяется по MIT; лицензия и условия использования каждого выбранного GGUF зависят от исходной модели и этим релизом не меняются. s1 s3
Источники
- ggml-org/llama.cpp: prerelease b11160 — Тег опубликован 13:50 UTC, помечен prerelease; changelog и официальные Vulkan-архивы.. Получено 24.09.2026.
- ggml-org/llama.cpp PR #27952: INT8 Vulkan cooperative matrix on AMD — Смержен 13:18 UTC; охват RDNA 3/4, таблицы авторских тестов pp512 и ограничения по квантизациям.. Получено 24.09.2026.
- llama.cpp MIT LICENSE на теге b11160 — Лицензия кода runtime, не лицензия весов отдельных моделей.. Получено 24.09.2026.