# llama.cpp b11182: выбор W4A8 для NVFP4-моделей на Blackwell

Источник: https://modelium.tech/zhurnal/llama-cpp-b11182-nvfp4-w4a8-blackwell-policy/

В предварительной сборке llama.cpp b11182 от 25 сентября 2026 года появился выбор точности активаций для NVFP4 и MXFP4 по метаданным GGUF. Слои, помеченные W4A16_NVFP4 при конвертации, на NVIDIA Blackwell могут использовать путь W4A8 вместо обычного W4A4. Это выбор между скоростью обработки промпта и точностью вычислений, а не новая модель или подтверждённое ускорение генерации. Для проверки есть переменная GGML_CUDA_MMQ_PREC со значениями auto, q8 и q4; результат зависит от конкретных весов и CUDA-сборки.

llama.cpp b11182: выбор W4A8 для NVFP4-моделей на Blackwell

25 сентября 2026 года вышла **предварительная** сборка `llama.cpp b11182`. В неё вошёл PR #24364: для отдельных матричных операций FP4-весов теперь можно учитывать рекомендованную точность активаций, сохранённую в GGUF. Это касается прежде всего CUDA-запуска на NVIDIA Blackwell; выпуск не содержит новых весов и не является стабильным релизом. [s1](#src-s1) [s2](#src-s2)

## Что изменилось

Ранее нативный путь для NVFP4 на Blackwell использовал четыре бита для весов и активаций — **W4A4**. Новая политика позволяет слоям исходного HF-чекпойнта с пометкой `W4A16_NVFP4` запросить в GGUF восьмибитные активации: тогда на Blackwell для этих слоёв выбирается путь **W4A8**. Название W4A16 в конфигурации исходных весов не означает, что новый CUDA-путь использует 16-битные активации. Код добавляет поля `general.tensor_extra.name` и `general.tensor_extra.prec_a4` при конвертации, читает их при загрузке модели и применяет политику к `mul_mat` и `mul_mat_id`, включая слои MoE. [s2](#src-s2) [s3](#src-s3)

Автор PR сообщает об улучшении численной точности W4A8 по сравнению с W4A4 на его тестовых операциях. Документация предупреждает об обмене: принудительный `q4` может ускорить обработку промпта ценой точности. Это **не** опубликованный независимый end-to-end-бенчмарк модели: из этих тестов нельзя вывести универсальный прирост качества или скорость генерации. [s2](#src-s2) [s3](#src-s3)

## Как проверить на своей машине

Нужны CUDA-сборка `b11182` или более новая с этим изменением, совместимый GPU Blackwell и модель GGUF с NVFP4/MXFP4-слоями. В документации `GGML_CUDA_MMQ_PREC=auto` означает выбор по метаданным отдельных тензоров и действует также по умолчанию; `q8` принудительно выбирает более точный путь для затронутых FP4-операций, `q4` — нативный четырёхбитный путь. Например, для сравнения на одном и том же промпте:

GGML_CUDA_MMQ_PREC=q8 ./llama-cli -m model.gguf -p 'Проверочный запрос'GGML_CUDA_MMQ_PREC=q4 ./llama-cli -m model.gguf -p 'Проверочный запрос'

Это **команды для самостоятельной проверки**, а не протокол проведённого Modelium теста. Сравнивайте ответы и время обработки промпта на своей задаче; значение переменной влияет на запущенный процесс. Старый GGUF без новых полей не получает выбор по слоям автоматически: для `auto` важна корректная конвертация из исходного чекпойнта, хотя глобальные `q8`/`q4` доступны как экспериментальная настройка. [s2](#src-s2) [s3](#src-s3)

В качестве проверяемого примера PR называет `nvidia/Qwen3.6-35B-A3B-NVFP4`: официальный HF-чекпойнт содержит конфигурацию с `W4A16_NVFP4`, а его карточка помечена Apache 2.0. Это не новый релиз этой модели и не рекомендация минимального объёма памяти. Лицензия **кода** llama.cpp — MIT; условия **весов** определяются отдельно по конкретному репозиторию модели. [s2](#src-s2) [s4](#src-s4) [s5](#src-s5)

## Ограничения

Сборка `b11182` отмечена GitHub как prerelease. В PR есть тесты отдельных матричных операций, но нет подтверждённых независимых замеров качества конечных ответов, throughput или совместимости всех сторонних GGUF-конверсий. Для рабочих нагрузок сначала проверяйте конкретную модель и собственные критерии качества; переносить результаты тестового чекпойнта на другие FP4-модели нельзя. [s1](#src-s1) [s2](#src-s2)

## Источники

1. [ggml-org/llama.cpp: GitHub release b11182 от 25 сентября 2026 года](https://github.com/ggml-org/llama.cpp/releases/tag/b11182) — получено 2026-09-25
2. [ggml-org/llama.cpp: merged PR #24364, модельная политика точности и тесты](https://github.com/ggml-org/llama.cpp/pull/24364) — получено 2026-09-25
3. [llama.cpp b11182: официальная документация GGML_CUDA_MMQ_PREC](https://github.com/ggml-org/llama.cpp/blob/b11182/docs/build.md) — получено 2026-09-25
4. [NVIDIA: Qwen3.6-35B-A3B-NVFP4, HF-конфигурация и лицензия](https://huggingface.co/nvidia/Qwen3.6-35B-A3B-NVFP4/tree/1355db6a052410cfd62085d94b58866fd0f2c3c5) — получено 2026-09-25
5. [ggml-org/llama.cpp b11182: текст лицензии MIT](https://github.com/ggml-org/llama.cpp/blob/b11182/LICENSE) — получено 2026-09-25