llama.cpp b11424 исправил сбой Vulkan Flash Attention на NVIDIA

llama.cpp b11424: исправление сбоя Vulkan Flash Attention

5 октября 2026 года ggml-org выпустила предварительную сборку b11424 с патчем Vulkan-шейдера Flash Attention. В описании PR #29988 разработчики связывают его с наблюдавшимся в тестах сбоем Nvidia DeviceLost; в изменённом коде записи квантованных значений и метаданных в shared memory теперь выполняются только при допустимой строке r < Br. Коммит исправления включён между b11414 и b11424. Это исправление runtime, не новые веса, не анонс CVE и не обещание прироста скорости. s1 s2 s3

Что поменялось и кого касается

Патч касается одной ветки Vulkan Flash Attention, в которой записываются квантованные данные Q8_0 либо асимметричного семейства Q4/Q5. По diff видно, что ограничение r < Br закрывает записи qs и ds; для Q8_0 сумма строки остаётся нулевой, а для прочих перечисленных форматов вычисляется. Описание PR приводит конкретный симптом на NVIDIA — DeviceLost в тесте. По этим данным нельзя утверждать, что каждая модель, GPU или каждая сессия на b11414 падала; точную распространённость и влияние на результаты авторы не измерили. s2

В опубликованном ранее разборе b11414 мы советовали сравнивать sparse Flash Attention с квантованным KV именно на этой сборке. Тогда патча #29988 ещё не было: сравнение upstream подтверждает, что он вошёл позднее. Для нового теста Vulkan-пути используйте b11424 или более позднюю сборку вместо b11414. Это отдельное последующее исправление, а не повторный анонс ускорения sparse attention. s2 s3

Как действовать при локальном запуске

Официальный релиз b11424 содержит архивы Vulkan для Ubuntu и Windows (x64/arm64); это prerelease. Выберите архив под свою систему, сохраните предыдущий исполняемый файл для отката и повторите тот же локальный ввод с прежней моделью, форматами K/V и параметрами контекста. Если на NVIDIA наблюдался DeviceLost, сравните воспроизводимость на сборках до и после исправления, а также корректность ответов, а не только скорость. Наличие архива не подтверждает, что мы выполнили собственный тест на GPU. Исправление не является рекомендацией включать Vulkan для любой модели или гарантией устранения всех падений. s1 s2

Исходники llama.cpp лицензированы по MIT; права на веса выбранной модели проверяются отдельно. Если вам нужен контекст по квантованному KV, прочитайте предыдущий разбор b11414 с учётом этого обновления. s4