llama.cpp b11463 ускоряет длинный промпт GLM-4.7-Flash на Intel GPU

Где возникает разница

У GLM-4.7-Flash ширина головы Q/K составляет 576, V — 512 при GQA-20 и F16 KV-cache. Прежняя проверка SYCL не пропускала такое сочетание в MKL Flash Attention: обработка промпта переходила на более медленный TILE-путь. Патч разрешает именно эту проверенную форму и учитывает, что более узкое V является представлением строки K с шагом; другие несовпадающие ширины K и V не становятся автоматически поддержанными. Финальный diff merge-коммита касается SYCL-кода обработки attention. s2 s3

Автор PR сравнил чистую основную ветку с одним этим патчем на Intel Arc Pro B70, IntelLLVM 2026.1, с oneDNN, F16 KV, -ngl 999 -b 4096 -ub 1024 -fa on; каждый замер повторялся трижды. Для промпта 8192 токена он сообщил 429,28 → 1293,63 токена/с (3,01 раза), для 64 000 — 67,071 → 378,145 токена/с (5,64 раза). При 512 токенах разница в его тесте была всего 0,13%. Скорость генерации 256 токенов после загрузки контекста практически не изменилась. Это результаты автора в заданных условиях, не независимый тест Modelium и не обещание такого же прироста на другом устройстве или другом KV-формате. В тексте релиза есть ещё одно, чуть отличающееся сравнение на другом baseline; мы не смешиваем его числитель и знаменатель с таблицей PR. s1 s2

Практический вывод

Если GLM-4.7-Flash на Intel GPU долго обрабатывает большие входы через SYCL, проверьте официальный архив b11463 либо более поздний билд с этим коммитом и сравните со своей предыдущей сборкой на одном и том же GGUF, устройстве, KV-формате и длине промпта. В документации SYCL описаны поддержка Intel GPU и настройки бэкенда; флаги выше — условия конкретного авторского теста, а не универсальный рецепт для каждой системы. Отдельно измеряйте prompt processing и генерацию: улучшение первого не равнозначно росту второго. s1 s2 s7

Веса GLM-4.7-Flash уже существовали до этого патча: карточка исходной модели на Hugging Face помечена mit, а у ggml-org опубликованы отдельные GGUF-файлы Q4_K и Q8_0. Репозиторий GGUF указывает на базовую модель, но не содержит отдельной лицензии в своём дереве; условия базовой модели и происхождение конкретного файла следует проверять отдельно от MIT-лицензии кода llama.cpp. Размер файла не говорит о минимальной RAM или VRAM. s4 s5 s6

Ограничение версии: в истории b11463 была попытка хранить промежуточные attention-оценки в F16, но она отменена в той же сборке. Не приписывайте релизу дополнительные цифры ускорения от этого отменённого изменения. s1