# IFM выпустила NVFP4-веса K2-Horizon 32B и 375B для Blackwell

Источник: https://modelium.tech/zhurnal/ifm-k2-horizon-nvfp4-blackwell/

22 сентября 2026 года IFM загрузила два официальных NVFP4-чекпойнта K2-Horizon: плотную 32B Stage1 и MoE 375B-A23B. Веса доступны на Hugging Face, карточки указывают Apache 2.0 и требуют GPU NVIDIA Blackwell или новее для нативного NVFP4. Однако приведённые в карточках команды запуска относятся к исходным BF16-моделям, а не к новым квантам; независимых замеров скорости нет.

IFM выпустила NVFP4-веса K2-Horizon 32B и 375B для Blackwell

**22 сентября 2026 года** IFM загрузила на Hugging Face два официальных квантованных чекпойнта существующего семейства K2-Horizon: `IFM/K2-Horizon-32B-NVFP4` и `IFM/K2-Horizon-375B-A23B-NVFP4`. История обоих репозиториев показывает появление файлов весов в тот же день. Это новые варианты весов для инференса, а не новые базовые архитектуры. Ревизии карточек и манифесты файлов закреплены в источниках. [s1](#src-s1) [s2](#src-s2) [s8](#src-s8) [s9](#src-s9)

## Чем различаются два пакета

**32B Stage1** — плотная модель, для которой, согласно карточке и конфигурации, в NVFP4 переведены веса и активации линейных слоёв за исключением `lm_head`. В репозитории есть два шарда Safetensors общим размером **23 253 718 728 байт (около 21,66 GiB на диске)**, конфигурация, токенизатор и рецепт квантизации. IFM прямо помечает этот чекпойнт как Stage1 и сообщает, что финальная версия 32B ещё не выпущена. [s1](#src-s1) [s3](#src-s3) [s5](#src-s5)

**375B-A23B** — MoE-модель: NVFP4 применён к линейным слоям маршрутизируемых экспертов, тогда как attention, shared experts, router, первые три плотных слоя и `lm_head` оставлены в BF16. Поэтому неверно считать весь пакет 4-битным. Опубликовано 12 шардов Safetensors общим размером **229 604 870 664 байта (около 213,84 GiB на диске)**. A23B описывает активные параметры на токен, но не объём памяти для загрузки полного набора весов. [s2](#src-s2) [s4](#src-s4) [s6](#src-s6)

Размеры выше — **объём опубликованных файлов**, а не минимальная RAM или VRAM: при запуске потребуются дополнительные ресурсы под KV-кэш, контекст и runtime. Оба репозитория открыты для скачивания без HF-gate; в метаданных карточек стоит `apache-2.0`, хотя отдельного файла LICENSE в деревьях этих двух квантов нет. Это открытые веса с указанной авторами лицензией; доступность весов не означает, что весь стек обучения уже опубликован как open source. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s4](#src-s4)

## Качество и аппаратная совместимость

IFM указывает, что нативный NVFP4 требует **NVIDIA Blackwell (B-серия) или более нового GPU**. Для 32B авторы сообщают средний результат 88,4 против 89,5 у BF16 по семи неагентным заданиям; для 375B — 91,2 против 91,7. По их методике контекст оценки ограничен 65 536 токенами, обычно используется zero-shot, AIME 2026 усреднён по 32 попыткам. Агентные тесты для NVFP4 на момент публикации карточек не приведены. Это **авторская оценка**, а не испытание Modelium и не обещание такой же точности на ваших данных. [s1](#src-s1) [s2](#src-s2)

Карточки утверждают, что квантование снижает расход памяти и ускоряет инференс на совместимом оборудовании, но не публикуют здесь воспроизводимого сравнения скорости NVFP4 с BF16 для конкретной серверной конфигурации. Не стоит переносить результаты BF16-замеров на эти файлы. [s1](#src-s1) [s2](#src-s2)

## Важное ограничение quickstart

В обоих NVFP4-репозиториях приведены команды `vllm serve` и SGLang, но в них указан **ID исходной BF16-модели без суффикса **`**-NVFP4**`. Указанные SGLang-конфигурации на H200 также относятся к BF16; H200 не является заявленной платформой для нативного NVFP4. Если выполнить команды буквально, это не будет проверкой новых квантованных весов. Наличие в vLLM 0.30.0 поддержки архитектуры K2-Horizon и отдельных методов NVFP4 само по себе не подтверждает совместимость конкретных двух пакетов без реального теста. [s1](#src-s1) [s2](#src-s2) [s7](#src-s7)

**Практический вывод:** для инфраструктуры на Blackwell появились официальные файлы NVFP4 и количественное сравнение качества с BF16; для развёртывания выбирайте именно репозиторий с суффиксом `-NVFP4` и сначала проверяйте загрузку, корректность ответов и память на своей конфигурации. Для H200 и других GPU без нативного NVFP4 ориентируйтесь на отдельно документированные BF16/FP8-варианты, не на скопированный из этих карточек quickstart. [s1](#src-s1) [s2](#src-s2)

## Источники

1. [IFM K2-Horizon-32B-NVFP4: закреплённая карточка](https://huggingface.co/IFM/K2-Horizon-32B-NVFP4/blob/71b07893498c52a6508bfce3e3ccb5456ba75328/README.md) — получено 2026-09-24
2. [IFM K2-Horizon-375B-A23B-NVFP4: закреплённая карточка](https://huggingface.co/IFM/K2-Horizon-375B-A23B-NVFP4/blob/0a074bccc707eca1a492e2d3ccb1ede33e39904c/README.md) — получено 2026-09-24
3. [IFM 32B NVFP4: история и манифест весов](https://huggingface.co/api/models/IFM/K2-Horizon-32B-NVFP4/tree/71b07893498c52a6508bfce3e3ccb5456ba75328?recursive=true) — получено 2026-09-24
4. [IFM 375B-A23B NVFP4: история и манифест весов](https://huggingface.co/api/models/IFM/K2-Horizon-375B-A23B-NVFP4/tree/0a074bccc707eca1a492e2d3ccb1ede33e39904c?recursive=true) — получено 2026-09-24
5. [Конфигурация и рецепт IFM K2-Horizon-32B-NVFP4](https://huggingface.co/IFM/K2-Horizon-32B-NVFP4/blob/71b07893498c52a6508bfce3e3ccb5456ba75328/recipe.yaml) — получено 2026-09-24
6. [Конфигурация и рецепт IFM K2-Horizon-375B-A23B-NVFP4](https://huggingface.co/IFM/K2-Horizon-375B-A23B-NVFP4/blob/0a074bccc707eca1a492e2d3ccb1ede33e39904c/recipe.yaml) — получено 2026-09-24
7. [vLLM 0.30.0: официальный релиз](https://github.com/vllm-project/vllm/releases/tag/v0.30.0) — получено 2026-09-24
8. [История коммитов IFM K2-Horizon-32B-NVFP4](https://huggingface.co/IFM/K2-Horizon-32B-NVFP4/commits/main) — получено 2026-09-24
9. [История коммитов IFM K2-Horizon-375B-A23B-NVFP4](https://huggingface.co/IFM/K2-Horizon-375B-A23B-NVFP4/commits/main) — получено 2026-09-24