# llama.cpp b11436 исправляет OpenVINO GPU: stateful-режим Qwen3.5 и Gemma

Источник: https://modelium.tech/zhurnal/llama-cpp-b11436-openvino-gpu-stateful-qwen35-fix/

В сборке llama.cpp b11436 от 6 октября исправлены регрессии бэкенда OpenVINO при локальном запуске GGUF на Intel GPU. Разработчики обновили обработку графов и stateful-исполнение Qwen3.5; их таблица в документации теперь отмечает успешную проверку stateful GPU для четырёх Qwen3.5 и Gemma 4 E2B. Это предварительная сборка, не новый стабильный релиз и не гарантия для всех моделей и устройств.

## Что произошло

6 октября 2026 года в llama.cpp вошёл PR #30037, а предварительная сборка b11436 включает его merge-коммит. Исправления касаются бэкенда OpenVINO: разработчики устранили ошибки обработки смешанного графа токенов и эмбеддингов, изменили размерность входа масштабирования для переменного числа токенов и поправили stateful-исполнение Qwen3.5 на GPU. Это исправление рантайма для уже существующих GGUF, а не выпуск новых весов. [s1](#src-s1) [s2](#src-s2)

В таблице проверки, обновлённой тем же PR, четыре Qwen3.5 GGUF — 0.8B, 2B, 4B и 9B в Q4_K_M — переведены с отметки «проблемы с точностью» на «успешно» для GPU в stateful-режиме. Аналогично изменена отметка для Gemma 4 E2B. Это результаты и обозначения разработчиков на конкретной конфигурации, а не независимые тесты Modelium и не обещание работы любой квантизации. [s2](#src-s2) [s3](#src-s3)

## Кому это полезно

Если Qwen3.5 в GGUF запускается через llama.cpp/OpenVINO на Intel GPU и вы столкнулись с ошибками stateful-режима или некорректным ответом, b11436 — первая опубликованная сборка с этим исправлением. Релиз включает отдельные OpenVINO-архивы для Ubuntu x64 и Windows x64 с маркировкой OpenVINO 2026.4.1. Более поздние prerelease-сборки следует проверять по своему тегу; стабильный v0.6.0 вышел до слияния PR и сам по себе этого исправления не включает. [s1](#src-s1) [s4](#src-s4)

Это **не** универсальное исправление OpenVINO: таблица при b11436 всё ещё помечает Gemma 4 E4B на GPU как «не прошло», а Qwen3.5 на NPU — как «не прошло». Проверка автора проводилась на Intel Core Ultra 5 238V с 32 ГБ RAM, Ubuntu 24.04, указанными в документации драйверами и моделями Q4_K_M через llama-cli. Это условия теста, **не минимальные требования** к памяти или железу. Точность квантизованных моделей и охват архитектур остаются предметом дальнейшей проверки. [s3](#src-s3)

## Как проверить на своём компьютере

- Возьмите официальный архив OpenVINO для **b11436** под свою платформу либо соберите исходники по инструкции, закреплённой за этим тегом. Не смешивайте исполняемый файл одной сборки с библиотеками и документацией другой. Для Intel GPU установите совместимые драйверы; посмотрите доступные устройства через `llama-cli --list-devices`. [s1](#src-s1) [s3](#src-s3)

- Выберите устройство переменной `GGML_OPENVINO_DEVICE=GPU`. Для проверки исправленного режима задайте `GGML_OPENVINO_STATEFUL_EXECUTION=1` и запускайте один сеанс: документация называет режим экспериментальным и требует один слот (`-np 1`). Используйте собственный файл GGUF подходящей архитектуры; для сравнения начните с Q4_K_M из списка проверенных моделей. [s3](#src-s3)

- Сравните один и тот же запрос на CPU/GPU и в stateless/stateful, фиксируя тег сборки, модель, квантизацию, драйвер и текст результата. Не трактуйте один успешный ответ как независимую оценку точности. Если возникают ошибки, вернитесь к stateless (`GGML_OPENVINO_STATEFUL_EXECUTION=0`) и сопоставьте свой случай с ограничениями в документации. [s3](#src-s3)

Исходный код llama.cpp распространяется по MIT, в том числе с коммерческим разрешением на использование кода; права на конкретные веса GGUF определяются лицензией **самой модели**, а не этой лицензией рантайма. Численных замеров ускорения для данного исправления PR не приводит; Modelium не запускал эти модели. [s2](#src-s2) [s5](#src-s5)

Если вы оцениваете прежнюю поддержку MoE в OpenVINO, [материал о b11374](/zhurnal/llama-cpp-b11374-openvino-moe-intel/) посвящён другому изменению. Для общего перечня функций стабильного v0.6.0 есть [отдельный обзор](/zhurnal/llama-cpp-0-6-0-systemone-batch-ext-local-models/); его не следует путать с последующим исправлением b11436. [s4](#src-s4)

## Источники

1. [ggml-org/llama.cpp — prerelease b11436](https://github.com/ggml-org/llama.cpp/releases/tag/b11436) — получено 2026-10-06
2. [ggml-org/llama.cpp — PR #30037: fix GPU regressions](https://github.com/ggml-org/llama.cpp/pull/30037) — получено 2026-10-06
3. [llama.cpp OpenVINO backend guide at b11436](https://github.com/ggml-org/llama.cpp/blob/b11436/docs/backend/OPENVINO.md) — получено 2026-10-06
4. [ggml-org/llama.cpp — stable v0.6.0](https://github.com/ggml-org/llama.cpp/releases/tag/v0.6.0) — получено 2026-10-06
5. [ggml-org/llama.cpp — MIT LICENSE at b11436](https://github.com/ggml-org/llama.cpp/blob/b11436/LICENSE) — получено 2026-10-06