LFM2.5-24B-A2B получила NVFP4-квантизацию для NVIDIA Blackwell

Что именно доступно

В репозитории размещены оба файла весов model-00001-of-00002.safetensors и model-00002-of-00002.safetensors, индекс и конфигурация. Суммарный размер файлов весов по манифесту — около 15 ГБ; это размер скачивания, а не требование к видеопамяти. Исходная модель — LFM2.5-24B-A2B от Liquid AI, о которой мы уже рассказывали. В новой версии до NVFP4 сжаты только «эксперты» — части модели, которые выбираются для обработки очередного фрагмента текста. Остальные перечисленные в карточке части остаются BF16. s1 s2

Разработчик предлагает запуск через vLLM — программу для обслуживания модели по сети — и приводит команду для своего репозитория. Карточка указывает NVIDIA Blackwell и описывает испытание на одной B300 с vLLM 0.29.1rc1. Это конфигурация авторского испытания, а не минимальное требование; работу на других GPU и в обычных домашних приложениях этот источник не подтверждает. Редакция Modelium модель не загружала и команду не выполняла. s1

Что говорят авторские замеры

По данным авторов, при 16 параллельных запросах их NVFP4-вариант выдавал 4655 выходных токенов в секунду против 2959 у BF16 на одной B300. Токен — небольшой фрагмент текста. Внутренние испытания вызова инструментов включали 800 примеров, а агентных задач — 60 задач с двумя повторами. Доверительные интервалы разницы по этим задачам включают ноль: по опубликованным данным нельзя уверенно утверждать, что качество одинаково или лучше. Их агентный набор не равен официальному tau2-bench. Независимого воспроизведения этих результатов у Modelium нет. s1

Кому стоит обратить внимание и что проверить

Этот вариант имеет смысл изучать командам, которые уже используют Blackwell и vLLM для одновременного обслуживания запросов: сравните качество собственных задач с исходным BF16 и проверьте загрузку в своей версии программы. Для первого локального запуска на Mac или обычном ПК начните с уже описанных форматов GGUF/MLX исходной модели, а не с этого специализированного NVFP4-пакета. s1 s2

Права: веса доступны для скачивания, но не под Apache или MIT. И производная модель, и оригинал содержат LFM Open License v1.0: бесплатное коммерческое применение ограничено юридическими лицами с годовой выручкой ниже $10 млн; для большего бизнеса требуется отдельное разрешение. При распространении производной версии действуют требования лицензии к уведомлениям и тексту условий. Это не утверждение, что любой открытый код вокруг модели имеет ту же лицензию. s3 s4

Следующий шаг: если нужна базовая модель и домашние форматы, откройте нашу статью о LFM2.5-24B-A2B; если нужен именно серверный NVFP4, изучите закреплённую карточку и условия лицензии перед загрузкой. s1 s2