Перейти к содержанию
modelium.
Начать с задачи
←
Новость

GEV-26B-Decide NVFP4: квантизованные эксперты для локального vLLM

На странице · 2 разделов

5 октября 2026 года AutoTrust выложила отдельный NVFP4-чекпойнт GEV-26B-Decide: квантизованы маршрутизируемые эксперты, а адаптер решений и другие компоненты остались в bf16. По измерению автора, память под веса в vLLM на B200 сократилась с 51,1 до 17,1 ГиБ; это не минимальное требование к видеокарте. Для сервера решений нужен совместимый vLLM и патч LoRA из репозитория, штатный запуск не подтверждён.

GEV-26B-Decide NVFP4: меньше памяти под веса, но не готовый запуск одной командой

Коротко. 5 октября 2026 года AutoTrust загрузила отдельный NVFP4-чекпойнт ранее представленной GEV-26B-Decide. Это квантизация существующей модели, а не новое обучение или новая базовая Gemma 4: авторы перевели в NVFP4 маршрутизируемые MLP-эксперты, оставив attention, dense-слои, маршрутизаторы, vision-компоненты, LoRA-адаптер и голову решений в bf16. В закреплённой ревизии находятся два модельных шарда Safetensors, индекс, адаптер, конфигурация ModelOpt и серверный код. s1 s2 s3

Практический смысл

GEV-26B-Decide выдаёт оценки и вероятности для заранее заданных вариантов по тексту и изображению; адаптивное рассуждение — отдельный режим. Квантизация уменьшает место, занимаемое весами модели при загрузке, и потому может сделать эксперименты на доступном подходящем GPU проще. Она не превращает 17,1 ГиБ в минимальное требование к VRAM: к весам добавляются KV-кэш, обработка изображений, промежуточные буферы и расходы сервера, зависящие от контекста и числа запросов. На диске автор указывает около 18 ГБ файлов весов — это другая величина. s1

Автор сообщает, что в его конфигурации vLLM на NVIDIA B200 память под веса сократилась с 51,1 ГиБ для bf16 до 17,1 ГиБ для NVFP4. Авторские проверки GPQA Diamond (198 вопросов) и HLE multiple choice (513 вопросов) не показывают заметного ухудшения, но сравнение смешивает движки: bf16 оценивалась в Transformers, NVFP4 — в vLLM. Разницу баллов нельзя приписать только квантованию; малые выборки также не доказывают эквивалентность качества на других задачах. Modelium не запускал и не замерял эту модель. s1

Что проверить перед развёртыванием

  • Формат. config.json задаёт quant_method: modelopt, а hf_quant_config.json указывает NVFP4 с группой из 16 значений. Индекс весов ссылается на оба имеющихся Safetensors-шарда; в репозитории также лежат адаптеры и голова решений. Это не GGUF для llama.cpp и не MLX-чекпойнт. s3 s4
  • Движок. Автор проверял сервер на B200 со сборкой vLLM разработки сентября 2026 года и требует приложенный патч для LoRA на связанном lm_head Gemma 4. Скрипт serve.sh запускает serve_decide.py с отдельным endpoint решений /v1/decide. Обычный vllm serve без проверенного патча нельзя считать эквивалентным рецептом; совместимость других сборок и карт в этой публикации не проверена. Для RTX PRO 6000/5090 и DGX Spark автор лишь перечисляет предполагаемые пути выполнения, прямо помечая их как не протестированные здесь. s1 s5 s6
  • Право использования. Карточки этого чекпойнта и исходной Google Gemma 4 помечены Apache-2.0. Ссылка license_link у Google ведёт на страницу текста Apache 2.0, а не на отдельные условия старых поколений Gemma. Метка открытых весов не означает, что опубликован весь процесс обучения или что проверена совместимость каждой сторонней сборки. s1 s7 s8

Вывод. Этот пакет нужен тем, кто уже развёртывает GEV-26B-Decide в vLLM и готов проверить патч, GPU-путь и качество на собственных сценариях. Начинать с официальной bf16-версии и самостоятельно сравнивать ответы с NVFP4 безопаснее, чем переносить авторские цифры на своё оборудование. s1 s5

Источники