llama.cpp b11493: ускорена обработка запроса на Intel Arc
На странице · 3 разделов
В предварительной сборке llama.cpp b11493 появилась оптимизация обработки входного текста для некоторых моделей «смесь экспертов» на видеокартах Intel с блоками XMX. В замерах автора обработка запроса ускорилась, но скорость написания ответа почти не изменилась. На других видеокартах и моделях обещанного прироста нет; это не стабильный релиз.
llama.cpp b11493: ускорена обработка запроса на Intel Arc
Если вы запускаете большую локальную модель на видеокарте Intel Arc, ожидание ответа состоит из двух разных этапов: сначала программа читает ваш запрос, затем модель пишет ответ. В предварительной сборке llama.cpp b11493 от 8 октября 2026 года разработчики ускорили первый этап для части моделей. Обычному пользователю не нужно менять настройки: сначала стоит проверить, подходит ли его видеокарта и модель. s1 s2
Что изменилось для локального запуска?
Оптимизация касается моделей типа «смесь экспертов» (MoE): для каждого фрагмента текста они задействуют лишь часть своих внутренних блоков. Прежде видеокарта обрабатывала несколько таких блоков по отдельности; новый код может объединять их работу и задействовать вычислительные блоки XMX на поддерживаемых Intel GPU. Это ускоряет чтение длинного входного запроса, а не обязательно последующее написание ответа. s2 s3
Изменение относится к программе llama.cpp с графическим модулем SYCL для Intel, а не к новым весам модели. В документации перечислены Intel Arc A/B, Arc Pro и Data Center GPU Max с XMX; наличие любой видеокарты Intel само по себе не гарантирует выигрыш. Новый путь зависит также от формата сжатых весов и формы вычисления: если условия не подходят, программа выбирает прежний алгоритм. Сборка b11493 остаётся предварительной. s1 s3
Насколько быстрее по измерениям разработчика?
В описании изменения автор сравнил один вариант GGUF-модели unsloth/Qwen3.8-Flash-Next-GGUF:UD-IQ4_XS с отключённым и включённым объединением вычислений. Для обработки запроса он указал 274,101 против 368,298 токена в секунду (токен — небольшой фрагмент текста), то есть прирост около 34%. Для написания ответа — 18,567 против 18,743 токена в секунду, почти без изменения. Это авторский тест одной конфигурации, не независимое измерение Modelium и не обещание прироста на вашей машине. В документации приведён другой авторский пример для Qwen3-30B-A3B на Arc Pro B60, также не универсальный ориентир. s2 s3
Стоит ли обновляться?
Если у вас нет подходящей видеокарты Intel с XMX и совместимой MoE-модели, специально переходить на эту предварительную сборку ради ускорения не стоит. Если есть — сравнивайте время обработки одинакового длинного запроса до и после обновления на собственном компьютере; не смешивайте его со скоростью генерации ответа. Инструкция здесь сверена по исходному коду и документации, но редакция не запускала модель и не проверяла ускорение на железе. s1 s2 s3
Для первого знакомства с изменениями стабильного выпуска откройте llama.cpp 0.5.0. Код llama.cpp распространяется по MIT; условия использования весов конкретной модели проверяйте отдельно. s4
Источники
- ggml-org/llama.cpp: prerelease b11493 — GitHub API: опубликован 08:48:40 UTC, prerelease true; Windows/Linux SYCL archives uploaded.. Получено 08.10.2026.
- llama.cpp PR #29245: grouped MoE XMX GEMM — Слит в master 05:41 UTC; описание механизма и авторские измерения, включая разделение prompt/decode.. Получено 08.10.2026.
- llama.cpp b11493: SYCL backend documentation — Закреплённая документация, поддерживаемые GPU, default и fallback условий XMX_GATHER_TYPES; приведены авторские примеры.. Получено 08.10.2026.
- llama.cpp b11493 LICENSE — MIT относится к коду программы, не автоматически к весам сторонней модели.. Получено 08.10.2026.