llama.cpp b11374: OpenVINO 2026.4.1 и MoE на Intel — что изменилось

Для кого это полезно

OpenVINO-бэкенд исполняет GGUF через Intel CPU, GPU или NPU, но поддержка моделей, операций и устройств неодинакова. Обновление прежде всего интересно тем, кто уже тестирует локальный GGUF на Intel GPU и столкнулся с медленной обработкой промпта у MoE, неправильным выбором устройства или ошибками отдельных графов. Таблица проекта подтверждает набор протестированных моделей на Intel Core Ultra 5 238V, Ubuntu 24.04 и Q4_K_M; это конфигурация проверки, не минимальные требования. Для Qwen3.5 на GPU в таблице по-прежнему отмечены проблемы точности в stateful-режиме, а Gemma 4 E4B на GPU отмечена как неработающая. s3

Что именно исправлено

• На GPU добавлена оптимизация экспертов MoE, включая случай объединённых gate/up-весов в Gemma 4. Исправлены ошибки выбора платформы OpenCL, отображения устройств и обработки части графов со stateful-исполнением. s1 s2
• Для выбора целевого OpenVINO-устройства используется переменная GGML_OPENVINO_DEVICE: CPU, GPU, NPU, а при нескольких GPU — GPU.0 или GPU.1. Команда llama-cli --list-devices показывает допустимые значения. Отсутствующее устройство теперь приводит к ошибке со списком доступных, а не к незаметному переходу на CPU. Это не то же самое, что флаг -dev. s3
• В документации есть отдельный путь сборки с -DGGML_OPENVINO=ON и подключением OpenVINO Runtime; не следует ожидать, что обычная сборка автоматически переключится на новый бэкенд. Начинайте с официального руководства, проверяйте установленный драйвер и выбранное устройство, затем сверяйте собственные ответы и скорость на вашей модели. s3

Почему не стоит переносить бенчмарк на свой компьютер

Автор PR приводит для Gemma 4 26B-A4B на Intel Arc B390 с GGML_OPENVINO_REQUANT_KQUANT=q4_asym64_all сравнение llama-bench -p 512 -n 128 -r 2 против отключённого слияния MoE: обработка промпта 66,16 → 1608,73 токена/с, генерация 25,94 → 26,46 токена/с. Это замеры разработчиков, не тест Modelium; ускорение относится к конкретной модели, режиму и оборудованию, а не к каждому Intel GPU. Автор прямо пишет, что эффект отсутствует без этого параметра повторной квантизации, на CPU и у моделей с раздельными gate/up-весами. Параметр меняет представление весов и требует отдельной проверки качества на вашей задаче. s1

Stateful-режим экспериментальный, ограничен одним слотом на CPU/GPU и не применяется на NPU. В том же авторском сравнении включение stateful для Gemma 4 поднимает скорость генерации до 29,91 токена/с, но лишает её указанного ускорения обработки промпта: 66,18 токена/с вместо 1608,73. Более того, разработчики описывают вырождение ответов Gemma 4 26B-A4B в некоторых собственных OpenVINO-пробах; это не основание объявлять модель полностью проверенной по качеству. s1 s3

Практическое решение

Если важна воспроизводимость в продакшене, не обновляйтесь только ради крупного числа в бенчмарке: b11374 отмечена на GitHub как prerelease, а текущая стабильная ветка выпускается отдельно. Если экспериментируете на Intel, начните с официальной матрицы моделей и ограничения «text-only» для этого бэкенда, сверяйте выбранное устройство через список, сравните качество и отдельно измерьте prefill и генерацию на своей нагрузке. OpenVINO-документация прямо предупреждает, что проверка точности, покрытие операций и поддержка мультимодальности ещё в работе. Исходный код llama.cpp распространяется под MIT; лицензия конкретных GGUF-весов проверяется отдельно. s1 s3 s4