# llama.cpp b11160 ускоряет Vulkan-инференс на AMD RDNA 3/4

Источник: https://modelium.tech/zhurnal/llama-cpp-b11160-vulkan-int8-amd-rdna3-rdna4/

24 сентября 2026 года в предварительную сборку llama.cpp b11160 вошёл INT8-шейдер матричного умножения для Vulkan на AMD RDNA 3/4. По замерам автора PR, на Radeon 8060S обработка 512 токенов Qwen3.8-27B Q4_K_M выросла с 186,5 до 254,1 токена/с, а на Radeon AI PRO R9700 у gpt-oss-20B MXFP4 — с 3936 до 5631 токена/с. Это не новый релиз весов и не универсальное ускорение генерации; на разных архитектурах и квантизациях эффект различается.

24 сентября 2026 года проект **llama.cpp** выпустил предварительную сборку **b11160**. В неё вошёл новый шейдер квантованного матричного умножения INT8 через Vulkan cooperative matrix для видеоускорителей AMD семейств **RDNA 3 и RDNA 4**. PR #27952 был смержен в 13:18 UTC; тег b11160 опубликован в 13:50 UTC и указывает на тот же коммит. Это обновление движка локального инференса, а **не выпуск новых весов модели**. [s1](#src-s1) [s2](#src-s2)

## Где виден эффект

Автор изменения сравнил Vulkan до и после патча и отдельно ROCm на двух устройствах в `llama-bench` при **pp512** — обработке промпта длиной 512 токенов. На **AMD Radeon 8060S (Strix Halo, RDNA 3.5)** модель Qwen3.8-27B в Q4_K_M показала **186,5 → 254,1 токена/с** для Vulkan; gpt-oss-20B в MXFP4 — **1071,6 → 1410,5 токена/с**. На **Radeon AI PRO R9700 (RDNA 4)** у gpt-oss-20B MXFP4 — **3936 → 5631 токенов/с**, а у Qwen3.6-35B-A3B Q4_K_M — **2760 → 3365 токенов/с**. Это **замеры автора PR**, не тесты Modelium и не обещание такого же результата на другой системе. `pp512` не описывает скорость выдачи отдельных токенов при генерации. [s2](#src-s2)

Шейдер работает с рядом GGUF-квантизаций, включая Q4_0, Q8_0, Q4_K, Q6_K, MXFP4 и NVFP4. Улучшение неоднородно: на RDNA 4 некоторые варианты используют прежний путь из-за проигрыша нового шейдера, а для части `MUL_MAT_ID` авторские микротесты показывают замедление. Указанные в таблице видеокарты — **конфигурации авторских измерений, не минимальные аппаратные требования к моделям**. [s2](#src-s2)

## Что делать пользователю

Для оценки на своей AMD-системе можно взять официальную **Vulkan-сборку b11160** для Windows x64 либо Ubuntu x64/arm64, выбрать локальный GGUF и сравнить обработку промпта с прежней сборкой на одинаковой модели, длине промпта и настройках. Наличие архива подтверждено релизом; совместимость конкретного драйвера и выигрыш на вашем устройстве нужно проверять отдельно. Поддержка в PR специально ограничена архитектурами RDNA 3/4 — распространять результаты на другие GPU нельзя. [s1](#src-s1) [s2](#src-s2)

**Важно:** b11160 помечена как *prerelease*, хотя официальные бинарные архивы доступны. Это не новая стабильная версия llama.cpp; последние стабильные изменения и дальнейшие исправления следует отслеживать отдельно. Код llama.cpp распространяется по MIT; лицензия и условия использования каждого выбранного GGUF зависят от исходной модели и этим релизом не меняются. [s1](#src-s1) [s3](#src-s3)

## Источники

1. [ggml-org/llama.cpp: prerelease b11160](https://github.com/ggml-org/llama.cpp/releases/tag/b11160) — получено 2026-09-24
2. [ggml-org/llama.cpp PR #27952: INT8 Vulkan cooperative matrix on AMD](https://github.com/ggml-org/llama.cpp/pull/27952) — получено 2026-09-24
3. [llama.cpp MIT LICENSE на теге b11160](https://github.com/ggml-org/llama.cpp/blob/b11160/LICENSE) — получено 2026-09-24