Gemma 4 12B System One получила NVFP4-веса для локальных решений на Blackwell

Что вышло

7 октября 2026 года на Hugging Face появился отдельный NVFP4-чекпойнт Gemma 4 12B Unified System One от knowlet. Это квантизация ранее опубликованной BF16-модели, обученной выбирать вариант ответа по заданным кандидатам, а не новая базовая Gemma и не универсальный чат-бот. Репозиторий содержит пять Safetensors-шардов, индекс и пакет специального runtime; ревизия выпуска — 5c4f3c2cb5de2be66b9e51160613e868b33c311f. Дата создания и состав файлов подтверждаются API Hugging Face. s1 s2

Модель выросла из knowlet/Gemma-4-12B-Unified-System-One на зафиксированной ревизии a66f836b56605039fe040f330180e336d19b3362: исходный чекпойнт использует LoRA-адаптацию Gemma 4 12B для вопросов BoolQ, а NVFP4-выпуск добавляет квантизацию без нового обучения. Входные эмбеддинги, голова выбора кандидатов и модули изображения/аудио оставлены в BF16. Это важно при оценке экономии: квантизирован не каждый компонент. s1 s6

Кому пригодится и как запускать

Сценарий — локальная оценка заранее объявленных ответов с вероятностями: например, классификация вопроса по контексту. Авторский runtime загружает формат s1-transformers-nvfp4-v1; в репозитории есть wheel, точные зависимости и инструкция по проверке его SHA-256 перед установкой. Карточка требует Python 3.12, CUDA-GPU архитектуры Blackwell и один GPU; фактическая проверка проведена на NVIDIA B200. Другие устройства Blackwell требуют отдельной проверки совместимости. Обычный AutoModel.from_pretrained, vLLM и TensorRT-LLM для этого пакета не подтверждены; не подменяйте их готовым рецептом из статьи. Последовательность установки и пример запроса опубликованы в карточке модели, но Modelium их не исполнял. s1 s4

Пять шардов занимают по авторскому манифесту суммарно 8 932 247 864 байта. Это объём файлов, не минимальная VRAM. В авторском испытании на B200 зарегистрированные параметры и буферы NVFP4 занимали 8,932 ГБ против 23,919 ГБ у BF16; пиковая выделенная CUDA-память в этой нагрузке составила 9,143 и 24,188 ГБ соответственно. Ни размер файлов, ни этот тест не задают минимальную аппаратную конфигурацию для других сценариев. s1 s3

Что показывают замеры авторов

На одной B200 и одинаковом стеке PyTorch авторы сравнили NVFP4 с BF16 на 256 новых задачах BoolQ: точность 88,67% против 89,84%, медианная задержка одного запроса 45,44 против 38,68 мс. Задержка включает подготовку и один проход модели, но не загрузку или прогрев; это не измерение пропускной способности сервера. NVFP4 отдельно калибровали по 256 другим BoolQ-примерам. У модели меньше занимаемый объём, но в данном тесте она была медленнее и немного менее точной. Это данные автора, не независимый тест Modelium. s1 s3

Отдельные популяции нельзя смешивать с этим результатом. На 128 исторических BoolQ-задачах точность NVFP4 — 89,06% против 92,19% BF16. На 52 исторических медиа-задачах — 59,62% против 61,54%; в разбиении авторов аудио составило всего 3/20 у NVFP4, изображения 28/32. Эти небольшие регрессионные наборы не доказывают широкое качество мультимодальности. Машинно-читаемые отчёты и сверка вывода через поставленный wheel доступны в репозитории; проверка воспроизведения также выполнена автором, а не редакцией. s1 s3 s4

Лицензия и решение

Карточка NVFP4 помечает модель Apache-2.0, а в пакете лежит соответствующий LICENSE и NOTICE с указанием исходной Gemma 4; автор называет комплектный S1 runtime MIT-лицензированным. Лицензии использованных для оценки наборов данных указаны отдельно и не превращаются в лицензию весов. Перед внедрением проверьте условия каждого компонента. s1 s5

Вывод: это предметный способ исследовать компактную decision-модель на Blackwell со своим runtime и опубликованными протоколами качества. Для типового запуска через Ollama, vLLM или Apple Silicon этот релиз пока не подходит; для задач с жёсткой точностью сравнивайте на собственных данных с BF16 и оценивайте ограничения медиа отдельно. s1 s3