# llama.cpp b11463 ускоряет длинный промпт GLM-4.7-Flash на Intel GPU

Источник: https://modelium.tech/zhurnal/llama-cpp-b11463-glm47-flash-intel-sycl-prefill/

В предварительную сборку llama.cpp b11463 вошёл узкий патч SYCL: обработка длинного промпта GLM-4.7-Flash может использовать MKL Flash Attention вместо медленного резервного пути. Автор PR измерил примерно трёхкратное ускорение на Intel Arc Pro B70 при 8192 токенах, но генерация в его тесте практически не изменилась. Это не универсальное ускорение всех моделей или GPU.

## Что вышло

7 октября 2026 года проект **llama.cpp** выпустил предварительную сборку **b11463**. Её тег указывает на merge-коммит PR #29171: для архитектуры **GLM-4.7-Flash** в бэкенде SYCL добавлен узкий путь обработки промпта через MKL Flash Attention. Это обновление runtime, **не новый выпуск весов** и не стабильный номерной релиз. Среди вложений к сборке есть готовые SYCL-архивы для Ubuntu x64 и Windows x64. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

## Где возникает разница

У GLM-4.7-Flash ширина головы Q/K составляет 576, V — 512 при GQA-20 и F16 KV-cache. Прежняя проверка SYCL не пропускала такое сочетание в MKL Flash Attention: обработка промпта переходила на более медленный TILE-путь. Патч разрешает **именно эту проверенную форму** и учитывает, что более узкое V является представлением строки K с шагом; другие несовпадающие ширины K и V не становятся автоматически поддержанными. Финальный diff merge-коммита касается SYCL-кода обработки attention. [s2](#src-s2) [s3](#src-s3)

Автор PR сравнил чистую основную ветку с одним этим патчем на **Intel Arc Pro B70**, IntelLLVM 2026.1, с oneDNN, F16 KV, `-ngl 999 -b 4096 -ub 1024 -fa on`; каждый замер повторялся трижды. Для промпта **8192 токена** он сообщил 429,28 → 1293,63 токена/с (3,01 раза), для **64 000** — 67,071 → 378,145 токена/с (5,64 раза). При 512 токенах разница в его тесте была всего 0,13%. Скорость **генерации** 256 токенов после загрузки контекста практически не изменилась. Это результаты автора в заданных условиях, не независимый тест Modelium и не обещание такого же прироста на другом устройстве или другом KV-формате. В тексте релиза есть ещё одно, чуть отличающееся сравнение на другом baseline; мы не смешиваем его числитель и знаменатель с таблицей PR. [s1](#src-s1) [s2](#src-s2)

## Практический вывод

Если GLM-4.7-Flash на Intel GPU долго обрабатывает большие входы через SYCL, проверьте официальный архив **b11463 либо более поздний билд с этим коммитом** и сравните со своей предыдущей сборкой на **одном и том же GGUF, устройстве, KV-формате и длине промпта**. В документации SYCL описаны поддержка Intel GPU и настройки бэкенда; флаги выше — условия конкретного авторского теста, а не универсальный рецепт для каждой системы. Отдельно измеряйте prompt processing и генерацию: улучшение первого не равнозначно росту второго. [s1](#src-s1) [s2](#src-s2) [s7](#src-s7)

Веса **GLM-4.7-Flash** уже существовали до этого патча: карточка исходной модели на Hugging Face помечена `mit`, а у ggml-org опубликованы отдельные GGUF-файлы Q4_K и Q8_0. Репозиторий GGUF указывает на базовую модель, но не содержит отдельной лицензии в своём дереве; условия базовой модели и происхождение конкретного файла следует проверять отдельно от MIT-лицензии кода llama.cpp. Размер файла не говорит о минимальной RAM или VRAM. [s4](#src-s4) [s5](#src-s5) [s6](#src-s6)

**Ограничение версии:** в истории b11463 была попытка хранить промежуточные attention-оценки в F16, но она **отменена в той же сборке**. Не приписывайте релизу дополнительные цифры ускорения от этого отменённого изменения. [s1](#src-s1)

## Источники

1. [ggml-org/llama.cpp — release b11463](https://github.com/ggml-org/llama.cpp/releases/tag/b11463) — получено 2026-10-07
2. [ggml-org/llama.cpp — PR #29171 GLM MLA prefill](https://github.com/ggml-org/llama.cpp/pull/29171) — получено 2026-10-07
3. [ggml-org/llama.cpp — tag b11463 source commit](https://github.com/ggml-org/llama.cpp/commit/d2a79e60464903f9832fbecdba48bd4cc6c47e75) — получено 2026-10-07
4. [zai-org — GLM-4.7-Flash model card, pinned revision](https://huggingface.co/zai-org/GLM-4.7-Flash/tree/7dd20894a642a0aa287e9827cb1a1f7f91386b67) — получено 2026-10-07
5. [ggml-org — GLM-4.7-Flash GGUF, pinned revision](https://huggingface.co/ggml-org/GLM-4.7-Flash-GGUF/tree/7559e96b7e324ab405897dc2b91492b0f376ad4a) — получено 2026-10-07
6. [ggml-org/llama.cpp — MIT LICENSE at b11463](https://github.com/ggml-org/llama.cpp/blob/b11463/LICENSE) — получено 2026-10-07
7. [ggml-org/llama.cpp — SYCL backend documentation at b11463](https://github.com/ggml-org/llama.cpp/blob/b11463/docs/backend/SYCL.md) — получено 2026-10-07