Перейти к содержанию
modelium.
Начать с задачи
←
Абстрактная композиция: растрескавшаяся поверхность и свет в голубых тонах.
Новость

llama.cpp b11182: выбор W4A8 для NVFP4-моделей на Blackwell

На странице · 3 разделов

В предварительной сборке llama.cpp b11182 от 25 сентября 2026 года появился выбор точности активаций для NVFP4 и MXFP4 по метаданным GGUF. Слои, помеченные W4A16_NVFP4 при конвертации, на NVIDIA Blackwell могут использовать путь W4A8 вместо обычного W4A4. Это выбор между скоростью обработки промпта и точностью вычислений, а не новая модель или подтверждённое ускорение генерации. Для проверки есть переменная GGML_CUDA_MMQ_PREC со значениями auto, q8 и q4; результат зависит от конкретных весов и CUDA-сборки.

llama.cpp b11182: выбор W4A8 для NVFP4-моделей на Blackwell

25 сентября 2026 года вышла предварительная сборка llama.cpp b11182. В неё вошёл PR #24364: для отдельных матричных операций FP4-весов теперь можно учитывать рекомендованную точность активаций, сохранённую в GGUF. Это касается прежде всего CUDA-запуска на NVIDIA Blackwell; выпуск не содержит новых весов и не является стабильным релизом. s1 s2

Что изменилось

Ранее нативный путь для NVFP4 на Blackwell использовал четыре бита для весов и активаций — W4A4. Новая политика позволяет слоям исходного HF-чекпойнта с пометкой W4A16_NVFP4 запросить в GGUF восьмибитные активации: тогда на Blackwell для этих слоёв выбирается путь W4A8. Название W4A16 в конфигурации исходных весов не означает, что новый CUDA-путь использует 16-битные активации. Код добавляет поля general.tensor_extra.name и general.tensor_extra.prec_a4 при конвертации, читает их при загрузке модели и применяет политику к mul_mat и mul_mat_id, включая слои MoE. s2 s3

Автор PR сообщает об улучшении численной точности W4A8 по сравнению с W4A4 на его тестовых операциях. Документация предупреждает об обмене: принудительный q4 может ускорить обработку промпта ценой точности. Это не опубликованный независимый end-to-end-бенчмарк модели: из этих тестов нельзя вывести универсальный прирост качества или скорость генерации. s2 s3

Как проверить на своей машине

Нужны CUDA-сборка b11182 или более новая с этим изменением, совместимый GPU Blackwell и модель GGUF с NVFP4/MXFP4-слоями. В документации GGML_CUDA_MMQ_PREC=auto означает выбор по метаданным отдельных тензоров и действует также по умолчанию; q8 принудительно выбирает более точный путь для затронутых FP4-операций, q4 — нативный четырёхбитный путь. Например, для сравнения на одном и том же промпте:

GGML_CUDA_MMQ_PREC=q8 ./llama-cli -m model.gguf -p 'Проверочный запрос'
GGML_CUDA_MMQ_PREC=q4 ./llama-cli -m model.gguf -p 'Проверочный запрос'

Это команды для самостоятельной проверки, а не протокол проведённого Modelium теста. Сравнивайте ответы и время обработки промпта на своей задаче; значение переменной влияет на запущенный процесс. Старый GGUF без новых полей не получает выбор по слоям автоматически: для auto важна корректная конвертация из исходного чекпойнта, хотя глобальные q8/q4 доступны как экспериментальная настройка. s2 s3

В качестве проверяемого примера PR называет nvidia/Qwen3.6-35B-A3B-NVFP4: официальный HF-чекпойнт содержит конфигурацию с W4A16_NVFP4, а его карточка помечена Apache 2.0. Это не новый релиз этой модели и не рекомендация минимального объёма памяти. Лицензия кода llama.cpp — MIT; условия весов определяются отдельно по конкретному репозиторию модели. s2 s4 s5

Ограничения

Сборка b11182 отмечена GitHub как prerelease. В PR есть тесты отдельных матричных операций, но нет подтверждённых независимых замеров качества конечных ответов, throughput или совместимости всех сторонних GGUF-конверсий. Для рабочих нагрузок сначала проверяйте конкретную модель и собственные критерии качества; переносить результаты тестового чекпойнта на другие FP4-модели нельзя. s1 s2

Источники