# GEV-26B-Decide NVFP4: квантизованные эксперты для локального vLLM

Источник: https://modelium.tech/zhurnal/gev-26b-decide-nvfp4-vllm-local-quantization/

5 октября 2026 года AutoTrust выложила отдельный NVFP4-чекпойнт GEV-26B-Decide: квантизованы маршрутизируемые эксперты, а адаптер решений и другие компоненты остались в bf16. По измерению автора, память под веса в vLLM на B200 сократилась с 51,1 до 17,1 ГиБ; это не минимальное требование к видеокарте. Для сервера решений нужен совместимый vLLM и патч LoRA из репозитория, штатный запуск не подтверждён.

GEV-26B-Decide NVFP4: меньше памяти под веса, но не готовый запуск одной командой

**Коротко.** 5 октября 2026 года AutoTrust загрузила отдельный NVFP4-чекпойнт ранее представленной [GEV-26B-Decide](/zhurnal/gev-26b-adaptive-thinking-local-decision/). Это квантизация существующей модели, а не новое обучение или новая базовая Gemma 4: авторы перевели в NVFP4 маршрутизируемые MLP-эксперты, оставив attention, dense-слои, маршрутизаторы, vision-компоненты, LoRA-адаптер и голову решений в bf16. В закреплённой ревизии находятся два модельных шарда Safetensors, индекс, адаптер, конфигурация ModelOpt и серверный код. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

## Практический смысл

GEV-26B-Decide выдаёт оценки и вероятности для заранее заданных вариантов по тексту и изображению; адаптивное рассуждение — отдельный режим. Квантизация уменьшает место, занимаемое весами модели при загрузке, и потому может сделать эксперименты на доступном подходящем GPU проще. **Она не превращает 17,1 ГиБ в минимальное требование к VRAM:** к весам добавляются KV-кэш, обработка изображений, промежуточные буферы и расходы сервера, зависящие от контекста и числа запросов. На диске автор указывает около 18 ГБ файлов весов — это другая величина. [s1](#src-s1)

Автор сообщает, что в его конфигурации vLLM на NVIDIA B200 память под веса сократилась с 51,1 ГиБ для bf16 до 17,1 ГиБ для NVFP4. Авторские проверки GPQA Diamond (198 вопросов) и HLE multiple choice (513 вопросов) не показывают заметного ухудшения, но **сравнение смешивает движки**: bf16 оценивалась в Transformers, NVFP4 — в vLLM. Разницу баллов нельзя приписать только квантованию; малые выборки также не доказывают эквивалентность качества на других задачах. Modelium не запускал и не замерял эту модель. [s1](#src-s1)

## Что проверить перед развёртыванием

- **Формат.** `config.json` задаёт `quant_method: modelopt`, а `hf_quant_config.json` указывает NVFP4 с группой из 16 значений. Индекс весов ссылается на оба имеющихся Safetensors-шарда; в репозитории также лежат адаптеры и голова решений. Это не GGUF для llama.cpp и не MLX-чекпойнт. [s3](#src-s3) [s4](#src-s4)

- **Движок.** Автор проверял сервер на B200 со сборкой vLLM разработки сентября 2026 года и требует приложенный патч для LoRA на связанном `lm_head` Gemma 4. Скрипт `serve.sh` запускает `serve_decide.py` с отдельным endpoint решений `/v1/decide`. Обычный `vllm serve` без проверенного патча нельзя считать эквивалентным рецептом; совместимость других сборок и карт в этой публикации не проверена. Для RTX PRO 6000/5090 и DGX Spark автор лишь перечисляет предполагаемые пути выполнения, прямо помечая их как не протестированные здесь. [s1](#src-s1) [s5](#src-s5) [s6](#src-s6)

- **Право использования.** Карточки этого чекпойнта и исходной Google Gemma 4 помечены Apache-2.0. Ссылка `license_link` у Google ведёт на страницу текста Apache 2.0, а не на отдельные условия старых поколений Gemma. Метка открытых весов не означает, что опубликован весь процесс обучения или что проверена совместимость каждой сторонней сборки. [s1](#src-s1) [s7](#src-s7) [s8](#src-s8)

**Вывод.** Этот пакет нужен тем, кто уже развёртывает GEV-26B-Decide в vLLM и готов проверить патч, GPU-путь и качество на собственных сценариях. Начинать с официальной bf16-версии и самостоятельно сравнивать ответы с NVFP4 безопаснее, чем переносить авторские цифры на своё оборудование. [s1](#src-s1) [s5](#src-s5)

## Источники

1. [AutoTrust: карточка GEV-26B-Decide-NVFP4, закреплённая ревизия](https://huggingface.co/autotrust/GEV-26B-Decide-NVFP4/blob/26e8e3137156bd6b80f0e1a78ce46717ef3e363e/README.md) — получено 2026-10-06
2. [Hugging Face API: история коммитов GEV-26B-Decide-NVFP4](https://huggingface.co/api/models/autotrust/GEV-26B-Decide-NVFP4/commits/main) — получено 2026-10-06
3. [AutoTrust: индекс двух Safetensors-шардов NVFP4](https://huggingface.co/autotrust/GEV-26B-Decide-NVFP4/blob/26e8e3137156bd6b80f0e1a78ce46717ef3e363e/model.safetensors.index.json) — получено 2026-10-06
4. [AutoTrust: конфигурация NVFP4 ModelOpt](https://huggingface.co/autotrust/GEV-26B-Decide-NVFP4/blob/26e8e3137156bd6b80f0e1a78ce46717ef3e363e/hf_quant_config.json) — получено 2026-10-06
5. [AutoTrust: скрипт запуска сервера решений](https://huggingface.co/autotrust/GEV-26B-Decide-NVFP4/blob/26e8e3137156bd6b80f0e1a78ce46717ef3e363e/serve.sh) — получено 2026-10-06
6. [AutoTrust: патч LoRA для Gemma 4/vLLM](https://huggingface.co/autotrust/GEV-26B-Decide-NVFP4/blob/26e8e3137156bd6b80f0e1a78ce46717ef3e363e/patches/vllm-gemma4-lm-head-lora.patch) — получено 2026-10-06
7. [Google: карточка исходной Gemma 4 26B A4B](https://huggingface.co/google/gemma-4-26B-A4B-it/blob/4d7ae4984b7db7de8f8457170b3f1a419ee76d52/README.md) — получено 2026-10-06
8. [Google: текст лицензии Apache 2.0 для Gemma 4](https://ai.google.dev/gemma/apache_2) — получено 2026-10-06