Перейти к содержанию
modelium.
Начать с задачи
←
Новость

llama.cpp b11436 исправляет OpenVINO GPU: stateful-режим Qwen3.5 и Gemma

На странице · 3 разделов

В сборке llama.cpp b11436 от 6 октября исправлены регрессии бэкенда OpenVINO при локальном запуске GGUF на Intel GPU. Разработчики обновили обработку графов и stateful-исполнение Qwen3.5; их таблица в документации теперь отмечает успешную проверку stateful GPU для четырёх Qwen3.5 и Gemma 4 E2B. Это предварительная сборка, не новый стабильный релиз и не гарантия для всех моделей и устройств.

Что произошло

6 октября 2026 года в llama.cpp вошёл PR #30037, а предварительная сборка b11436 включает его merge-коммит. Исправления касаются бэкенда OpenVINO: разработчики устранили ошибки обработки смешанного графа токенов и эмбеддингов, изменили размерность входа масштабирования для переменного числа токенов и поправили stateful-исполнение Qwen3.5 на GPU. Это исправление рантайма для уже существующих GGUF, а не выпуск новых весов. s1 s2

В таблице проверки, обновлённой тем же PR, четыре Qwen3.5 GGUF — 0.8B, 2B, 4B и 9B в Q4_K_M — переведены с отметки «проблемы с точностью» на «успешно» для GPU в stateful-режиме. Аналогично изменена отметка для Gemma 4 E2B. Это результаты и обозначения разработчиков на конкретной конфигурации, а не независимые тесты Modelium и не обещание работы любой квантизации. s2 s3

Кому это полезно

Если Qwen3.5 в GGUF запускается через llama.cpp/OpenVINO на Intel GPU и вы столкнулись с ошибками stateful-режима или некорректным ответом, b11436 — первая опубликованная сборка с этим исправлением. Релиз включает отдельные OpenVINO-архивы для Ubuntu x64 и Windows x64 с маркировкой OpenVINO 2026.4.1. Более поздние prerelease-сборки следует проверять по своему тегу; стабильный v0.6.0 вышел до слияния PR и сам по себе этого исправления не включает. s1 s4

Это не универсальное исправление OpenVINO: таблица при b11436 всё ещё помечает Gemma 4 E4B на GPU как «не прошло», а Qwen3.5 на NPU — как «не прошло». Проверка автора проводилась на Intel Core Ultra 5 238V с 32 ГБ RAM, Ubuntu 24.04, указанными в документации драйверами и моделями Q4_K_M через llama-cli. Это условия теста, не минимальные требования к памяти или железу. Точность квантизованных моделей и охват архитектур остаются предметом дальнейшей проверки. s3

Как проверить на своём компьютере

  1. Возьмите официальный архив OpenVINO для b11436 под свою платформу либо соберите исходники по инструкции, закреплённой за этим тегом. Не смешивайте исполняемый файл одной сборки с библиотеками и документацией другой. Для Intel GPU установите совместимые драйверы; посмотрите доступные устройства через llama-cli --list-devices. s1 s3
  2. Выберите устройство переменной GGML_OPENVINO_DEVICE=GPU. Для проверки исправленного режима задайте GGML_OPENVINO_STATEFUL_EXECUTION=1 и запускайте один сеанс: документация называет режим экспериментальным и требует один слот (-np 1). Используйте собственный файл GGUF подходящей архитектуры; для сравнения начните с Q4_K_M из списка проверенных моделей. s3
  3. Сравните один и тот же запрос на CPU/GPU и в stateless/stateful, фиксируя тег сборки, модель, квантизацию, драйвер и текст результата. Не трактуйте один успешный ответ как независимую оценку точности. Если возникают ошибки, вернитесь к stateless (GGML_OPENVINO_STATEFUL_EXECUTION=0) и сопоставьте свой случай с ограничениями в документации. s3

Исходный код llama.cpp распространяется по MIT, в том числе с коммерческим разрешением на использование кода; права на конкретные веса GGUF определяются лицензией самой модели, а не этой лицензией рантайма. Численных замеров ускорения для данного исправления PR не приводит; Modelium не запускал эти модели. s2 s5

Если вы оцениваете прежнюю поддержку MoE в OpenVINO, материал о b11374 посвящён другому изменению. Для общего перечня функций стабильного v0.6.0 есть отдельный обзор; его не следует путать с последующим исправлением b11436. s4

Источники

  1. ggml-org/llama.cpp — prerelease b11436 — Тег b11436, 6 октября; merge SHA PR и архивы OpenVINO Ubuntu/Windows 2026.4.1.. Получено 06.10.2026.
  2. ggml-org/llama.cpp — PR #30037: fix GPU regressions — Merged 2026-10-06 06:57 UTC; исправления графов/stateful Qwen3.5; авторские утверждения.. Получено 06.10.2026.
  3. llama.cpp OpenVINO backend guide at b11436 — Закреплённая таблица Q4_K_M и параметры проверки; ограничения experimental stateful.. Получено 06.10.2026.
  4. ggml-org/llama.cpp — stable v0.6.0 — Стабильный релиз 5 октября до PR #30037.. Получено 06.10.2026.
  5. ggml-org/llama.cpp — MIT LICENSE at b11436 — Лицензия кода рантайма, не модельных весов.. Получено 06.10.2026.