Liquid AI выпустила DSpark для LFM2.5-VL-3B: ускорение локальной VLM в llama.cpp и MLX-VLM

Что доступно для локального запуска

В официальном репозитории лежит model.safetensors драфтера, а в отдельном репозитории — LFM2.5-VL-3B-DSpark-F16.gguf размером 567 205 280 байт. GGUF — sidecar, а не самостоятельная модель: нужны совместимый основной GGUF LFM2.5-VL-3B и её vision projector. Размер файла драфтера не означает требования к ОЗУ или VRAM для всего запуска. Обе ревизии доступны без gated-доступа. s2 s3

Для llama.cpp авторы дают пример запуска сервера с основной моделью и драфтером:

llama-server -hf LiquidAI/LFM2.5-VL-3B-GGUF:F16 \
-hfd LiquidAI/LFM2.5-VL-3B-DSpark-GGUF:F16 \
--spec-type draft-dspark --spec-draft-n-max 8 --spec-draft-n-min 0 \
-ngl 99 -ngld 99 -fa on

Параметр --spec-draft-n-max 8 авторы рекомендуют для Apple Silicon; -ngl 99 -ngld 99 в примере предполагает разгрузку слоёв на GPU и не является универсальной настройкой для всякого компьютера. Поддержка vision target в конвертере llama.cpp добавлена merged PR #29339 от 23 сентября; используйте сборку, содержащую этот коммит, и проверяйте, что приложение действительно загружает драфтер, а не работает только с основной моделью. s3 s5

На Apple Silicon с MLX-VLM v0.7.2+ карточка предлагает python -m mlx_vlm.generate --model LiquidAI/LFM2.5-VL-3B --draft-model LiquidAI/LFM2.5-VL-3B-DSpark --draft-block-size 8 --image /path/to/image.jpg --prompt "Describe this image." --max-tokens 256 --temperature 0. Для этого пути карточка прямо указывает greedy sampling: --temperature 0. Для NVIDIA опубликован пример SGLang v0.5.19+ с --speculative-algorithm DSPARK; это серверный вариант, а не инструкция для llama.cpp. s2 s6 s7

Что означают цифры ускорения

По измерениям Liquid AI на шести наборах визуальных задач, максимальное ускорение декодирования относительно того же target без DSpark составило 3,13× на M5 Max с MLX-VLM, 2,14× на M3 Ultra с llama.cpp и 2,66× на одном H100 с SGLang. Это лучшие отдельные строки (COCO), а не средние результаты. В той же строке ускорение полного запроса — соответственно 2,59×, 1,77× и 2,27×. Другие задачи отличаются: например, для GQA авторы приводят 1,30× полного запроса на M3 Ultra. Тесты проводились с batch size 1, temperature 0 и 16-битной обработкой языковой и визуальной частей; для Apple указан предел до 2048 выходных токенов. Modelium эти замеры не воспроизводил, переносить их на произвольную квантизацию или железо нельзя. s2

При greedy decoding основная модель проверяет предложения драфтера, поэтому принятие токенов не превращает драфтер в самостоятельный источник ответа; эффективность зависит от доли принятых токенов и накладных расходов runtime. Практически это вариант для тех, кто уже запускает LFM2.5-VL-3B и хочет ускорить визуальные диалоги, сохранив основную модель; для коротких ответов выигрыш сквозного времени может быть меньше выигрыша скорости декодирования. s2

Лицензия и ограничения

Веса распространяются по LFM Open License v1.0, не по Apache/MIT. Лицензия разрешает коммерческое использование только при условии, что годовая выручка пользователя или его юридического лица не достигает $10 млн; коммерческое использование выше порога этим соглашением не лицензируется. При распространении сохраняются лицензия и уведомления об изменениях. Условия основной модели нужно соблюдать отдельно. Доступность весов не означает безусловной свободы для любой коммерческой компании. s4

Источники и команды выше описывают авторский релиз; независимого локального тестирования на оборудовании Modelium не проводилось. s2 s3