IFM выпустила NVFP4-веса K2-Horizon 32B и 375B для Blackwell

Чем различаются два пакета

32B Stage1 — плотная модель, для которой, согласно карточке и конфигурации, в NVFP4 переведены веса и активации линейных слоёв за исключением lm_head. В репозитории есть два шарда Safetensors общим размером 23 253 718 728 байт (около 21,66 GiB на диске), конфигурация, токенизатор и рецепт квантизации. IFM прямо помечает этот чекпойнт как Stage1 и сообщает, что финальная версия 32B ещё не выпущена. s1 s3 s5

375B-A23B — MoE-модель: NVFP4 применён к линейным слоям маршрутизируемых экспертов, тогда как attention, shared experts, router, первые три плотных слоя и lm_head оставлены в BF16. Поэтому неверно считать весь пакет 4-битным. Опубликовано 12 шардов Safetensors общим размером 229 604 870 664 байта (около 213,84 GiB на диске). A23B описывает активные параметры на токен, но не объём памяти для загрузки полного набора весов. s2 s4 s6

Размеры выше — объём опубликованных файлов, а не минимальная RAM или VRAM: при запуске потребуются дополнительные ресурсы под KV-кэш, контекст и runtime. Оба репозитория открыты для скачивания без HF-gate; в метаданных карточек стоит apache-2.0, хотя отдельного файла LICENSE в деревьях этих двух квантов нет. Это открытые веса с указанной авторами лицензией; доступность весов не означает, что весь стек обучения уже опубликован как open source. s1 s2 s3 s4

Качество и аппаратная совместимость

IFM указывает, что нативный NVFP4 требует NVIDIA Blackwell (B-серия) или более нового GPU. Для 32B авторы сообщают средний результат 88,4 против 89,5 у BF16 по семи неагентным заданиям; для 375B — 91,2 против 91,7. По их методике контекст оценки ограничен 65 536 токенами, обычно используется zero-shot, AIME 2026 усреднён по 32 попыткам. Агентные тесты для NVFP4 на момент публикации карточек не приведены. Это авторская оценка, а не испытание Modelium и не обещание такой же точности на ваших данных. s1 s2

Карточки утверждают, что квантование снижает расход памяти и ускоряет инференс на совместимом оборудовании, но не публикуют здесь воспроизводимого сравнения скорости NVFP4 с BF16 для конкретной серверной конфигурации. Не стоит переносить результаты BF16-замеров на эти файлы. s1 s2

Важное ограничение quickstart

В обоих NVFP4-репозиториях приведены команды vllm serve и SGLang, но в них указан ID исходной BF16-модели без суффикса -NVFP4. Указанные SGLang-конфигурации на H200 также относятся к BF16; H200 не является заявленной платформой для нативного NVFP4. Если выполнить команды буквально, это не будет проверкой новых квантованных весов. Наличие в vLLM 0.30.0 поддержки архитектуры K2-Horizon и отдельных методов NVFP4 само по себе не подтверждает совместимость конкретных двух пакетов без реального теста. s1 s2 s7

Практический вывод: для инфраструктуры на Blackwell появились официальные файлы NVFP4 и количественное сравнение качества с BF16; для развёртывания выбирайте именно репозиторий с суффиксом -NVFP4 и сначала проверяйте загрузку, корректность ответов и память на своей конфигурации. Для H200 и других GPU без нативного NVFP4 ориентируйтесь на отдельно документированные BF16/FP8-варианты, не на скопированный из этих карточек quickstart. s1 s2