# Gemma 4 12B System One получила NVFP4-веса для локальных решений на Blackwell

Источник: https://modelium.tech/zhurnal/gemma-4-12b-system-one-nvfp4-blackwell/

7 октября опубликована NVFP4-версия Gemma 4 12B Unified System One: пять шардов весов, индекс и специальный runtime доступны на Hugging Face. Это модель для выбора между заданными вариантами, а не обычный чат-бот. Авторы проверили её на B200; стандартные загрузчики Transformers и vLLM для этого формата не подтверждены.

## Что вышло

7 октября 2026 года на Hugging Face появился отдельный NVFP4-чекпойнт *Gemma 4 12B Unified System One* от knowlet. Это квантизация ранее опубликованной BF16-модели, обученной выбирать вариант ответа по заданным кандидатам, а не новая базовая Gemma и не универсальный чат-бот. Репозиторий содержит пять Safetensors-шардов, индекс и пакет специального runtime; ревизия выпуска — `5c4f3c2cb5de2be66b9e51160613e868b33c311f`. Дата создания и состав файлов подтверждаются API Hugging Face. [s1](#src-s1) [s2](#src-s2)

Модель выросла из `knowlet/Gemma-4-12B-Unified-System-One` на зафиксированной ревизии `a66f836b56605039fe040f330180e336d19b3362`: исходный чекпойнт использует LoRA-адаптацию Gemma 4 12B для вопросов BoolQ, а NVFP4-выпуск добавляет квантизацию без нового обучения. Входные эмбеддинги, голова выбора кандидатов и модули изображения/аудио оставлены в BF16. Это важно при оценке экономии: квантизирован не каждый компонент. [s1](#src-s1) [s6](#src-s6)

## Кому пригодится и как запускать

Сценарий — локальная оценка заранее объявленных ответов с вероятностями: например, классификация вопроса по контексту. Авторский runtime загружает формат `s1-transformers-nvfp4-v1`; в репозитории есть wheel, точные зависимости и инструкция по проверке его SHA-256 перед установкой. Карточка требует Python 3.12, CUDA-GPU архитектуры Blackwell и один GPU; фактическая проверка проведена на NVIDIA B200. Другие устройства Blackwell требуют отдельной проверки совместимости. Обычный `AutoModel.from_pretrained`, vLLM и TensorRT-LLM для этого пакета **не подтверждены**; не подменяйте их готовым рецептом из статьи. Последовательность установки и пример запроса опубликованы в карточке модели, но Modelium их не исполнял. [s1](#src-s1) [s4](#src-s4)

Пять шардов занимают по авторскому манифесту суммарно 8 932 247 864 байта. Это объём файлов, **не минимальная VRAM**. В авторском испытании на B200 зарегистрированные параметры и буферы NVFP4 занимали 8,932 ГБ против 23,919 ГБ у BF16; пиковая выделенная CUDA-память в этой нагрузке составила 9,143 и 24,188 ГБ соответственно. Ни размер файлов, ни этот тест не задают минимальную аппаратную конфигурацию для других сценариев. [s1](#src-s1) [s3](#src-s3)

## Что показывают замеры авторов

На одной B200 и одинаковом стеке PyTorch авторы сравнили NVFP4 с BF16 на **256 новых задачах BoolQ**: точность 88,67% против 89,84%, медианная задержка одного запроса 45,44 против 38,68 мс. Задержка включает подготовку и один проход модели, но не загрузку или прогрев; это не измерение пропускной способности сервера. NVFP4 отдельно калибровали по 256 другим BoolQ-примерам. У модели меньше занимаемый объём, но в данном тесте она была медленнее и немного менее точной. Это данные автора, не независимый тест Modelium. [s1](#src-s1) [s3](#src-s3)

Отдельные популяции нельзя смешивать с этим результатом. На **128 исторических BoolQ-задачах** точность NVFP4 — 89,06% против 92,19% BF16. На **52 исторических медиа-задачах** — 59,62% против 61,54%; в разбиении авторов аудио составило всего 3/20 у NVFP4, изображения 28/32. Эти небольшие регрессионные наборы не доказывают широкое качество мультимодальности. Машинно-читаемые отчёты и сверка вывода через поставленный wheel доступны в репозитории; проверка воспроизведения также выполнена автором, а не редакцией. [s1](#src-s1) [s3](#src-s3) [s4](#src-s4)

## Лицензия и решение

Карточка NVFP4 помечает модель Apache-2.0, а в пакете лежит соответствующий LICENSE и NOTICE с указанием исходной Gemma 4; автор называет комплектный S1 runtime MIT-лицензированным. Лицензии использованных для оценки наборов данных указаны отдельно и не превращаются в лицензию весов. Перед внедрением проверьте условия каждого компонента. [s1](#src-s1) [s5](#src-s5)

**Вывод:** это предметный способ исследовать компактную decision-модель на Blackwell со своим runtime и опубликованными протоколами качества. Для типового запуска через Ollama, vLLM или Apple Silicon этот релиз пока не подходит; для задач с жёсткой точностью сравнивайте на собственных данных с BF16 и оценивайте ограничения медиа отдельно. [s1](#src-s1) [s3](#src-s3)

## Источники

1. [knowlet: Gemma 4 12B Unified System One NVFP4 — карточка, ревизия 5c4f3c2](https://huggingface.co/knowlet/Gemma-4-12B-Unified-System-One-NVFP4/blob/5c4f3c2cb5de2be66b9e51160613e868b33c311f/README.md) — получено 2026-10-07
2. [Hugging Face API: NVFP4 модель, SHA, дата создания и полный список файлов](https://huggingface.co/api/models/knowlet/Gemma-4-12B-Unified-System-One-NVFP4) — получено 2026-10-07
3. [knowlet: machine-readable evaluation.json на закреплённой ревизии](https://huggingface.co/knowlet/Gemma-4-12B-Unified-System-One-NVFP4/blob/5c4f3c2cb5de2be66b9e51160613e868b33c311f/evaluation.json) — получено 2026-10-07
4. [knowlet: runtime-verification.json, bundled wheel digest](https://huggingface.co/knowlet/Gemma-4-12B-Unified-System-One-NVFP4/blob/5c4f3c2cb5de2be66b9e51160613e868b33c311f/runtime-verification.json) — получено 2026-10-07
5. [knowlet: LICENSE и NOTICE модели](https://huggingface.co/knowlet/Gemma-4-12B-Unified-System-One-NVFP4/blob/5c4f3c2cb5de2be66b9e51160613e868b33c311f/LICENSE) — получено 2026-10-07
6. [Hugging Face API: исходная BF16 System One ревизия a66f836](https://huggingface.co/api/models/knowlet/Gemma-4-12B-Unified-System-One/revision/a66f836b56605039fe040f330180e336d19b3362) — получено 2026-10-07