# LFM2.5-24B-A2B получила NVFP4-квантизацию для NVIDIA Blackwell

Источник: https://modelium.tech/zhurnal/lfm2-5-24b-a2b-nvfp4-blackwell/

14 октября появилась сторонняя NVFP4-версия LFM2.5-24B-A2B: два файла весов для видеокарт NVIDIA Blackwell. Авторы заявляют ускорение при параллельных запросах, но редакция его не проверяла. Это новость для опытных пользователей серверного vLLM, а не инструкция для домашнего компьютера.

Если вы запускаете локальную модель LFM2.5-24B-A2B на серверной видеокарте NVIDIA Blackwell и обслуживаете сразу много запросов, теперь есть отдельный вариант весов, занимающий меньше места. 14 октября 2026 года команда infinity-ai-institute загрузила **стороннюю**, а не официальную квантизацию NVFP4. Квантизация означает хранение части чисел модели в более компактном формате; результат может отличаться от исходной версии. Для обычного домашнего ПК эта новость не даёт готового способа установки. [s1](#src-s1)

## Что именно доступно

В репозитории размещены оба файла весов `model-00001-of-00002.safetensors` и `model-00002-of-00002.safetensors`, индекс и конфигурация. Суммарный размер файлов весов по манифесту — около 15 ГБ; это **размер скачивания, а не требование к видеопамяти**. Исходная модель — LFM2.5-24B-A2B от Liquid AI, о которой мы уже рассказывали. В новой версии до NVFP4 сжаты только «эксперты» — части модели, которые выбираются для обработки очередного фрагмента текста. Остальные перечисленные в карточке части остаются BF16. [s1](#src-s1) [s2](#src-s2)

Разработчик предлагает запуск через vLLM — программу для обслуживания модели по сети — и приводит команду для своего репозитория. Карточка указывает NVIDIA Blackwell и описывает испытание на одной B300 с vLLM 0.29.1rc1. **Это конфигурация авторского испытания, а не минимальное требование**; работу на других GPU и в обычных домашних приложениях этот источник не подтверждает. Редакция Modelium модель не загружала и команду не выполняла. [s1](#src-s1)

## Что говорят авторские замеры

По данным авторов, при 16 параллельных запросах их NVFP4-вариант выдавал 4655 выходных токенов в секунду против 2959 у BF16 на одной B300. Токен — небольшой фрагмент текста. Внутренние испытания вызова инструментов включали 800 примеров, а агентных задач — 60 задач с двумя повторами. Доверительные интервалы разницы по этим задачам включают ноль: по опубликованным данным нельзя уверенно утверждать, что качество одинаково или лучше. Их агентный набор не равен официальному tau2-bench. Независимого воспроизведения этих результатов у Modelium нет. [s1](#src-s1)

## Кому стоит обратить внимание и что проверить

Этот вариант имеет смысл изучать командам, которые уже используют Blackwell и vLLM для одновременного обслуживания запросов: сравните качество собственных задач с исходным BF16 и проверьте загрузку в своей версии программы. Для первого локального запуска на Mac или обычном ПК начните с уже описанных форматов GGUF/MLX исходной модели, а не с этого специализированного NVFP4-пакета. [s1](#src-s1) [s2](#src-s2)

**Права:** веса доступны для скачивания, но не под Apache или MIT. И производная модель, и оригинал содержат LFM Open License v1.0: бесплатное коммерческое применение ограничено юридическими лицами с годовой выручкой ниже $10 млн; для большего бизнеса требуется отдельное разрешение. При распространении производной версии действуют требования лицензии к уведомлениям и тексту условий. Это не утверждение, что любой открытый код вокруг модели имеет ту же лицензию. [s3](#src-s3) [s4](#src-s4)

Следующий шаг: если нужна базовая модель и домашние форматы, откройте нашу статью о LFM2.5-24B-A2B; если нужен именно серверный NVFP4, изучите закреплённую карточку и условия лицензии перед загрузкой. [s1](#src-s1) [s2](#src-s2)

## Источники

1. [infinity-ai-institute: LFM2.5-24B-A2B-NVFP4, закреплённая карточка и история](https://huggingface.co/infinity-ai-institute/LFM2.5-24B-A2B-NVFP4/tree/2d61270a276c320af204143d3d73e524f9ef44d2) — получено 2026-10-14
2. [Liquid AI: оригинальная LFM2.5-24B-A2B](https://huggingface.co/LiquidAI/LFM2.5-24B-A2B/tree/1769516ac588c4c558089c94f27d96b0dc67b183) — получено 2026-10-14
3. [LFM Open License v1.0 в репозитории производных весов](https://huggingface.co/infinity-ai-institute/LFM2.5-24B-A2B-NVFP4/blob/2d61270a276c320af204143d3d73e524f9ef44d2/LICENSE) — получено 2026-10-14
4. [Liquid AI: официальный актуальный справочник лицензии моделей](https://github.com/Liquid4All/docs/blob/035e71dbe01cc6ee4b68807fdeb91813b7530ee0/lfm/help/model-license.mdx) — получено 2026-10-14