vLLM Metal 0.30.0: единый KV-кеш и поддержка Granite 4.0 на Mac

Что меняется при локальном запуске

Раньше плагин обслуживал часть гибридного состояния в отдельных пулах. В 0.30.0 выделением и физической раскладкой кеша управляет vLLM, а Metal обращается к нему через MLX-представления без копирования. По описанию разработчиков, гибридные модели теперь используют общий бюджет кеша. Это изменение архитектуры хранения, не обещание конкретного ускорения или снижения требуемой памяти на любом Mac. s1

Добавлено обслуживание гибридных чекпойнтов Granite 4.0 на страничном состоянии, включая варианты dense/MoE и RoPE/NoPE. В документации релиза показан mlx-community/granite-4.0-h-micro-4bit; для этого семейства prefix caching отключён, поскольку рекуррентное состояние остаётся приватным для запроса. При выборке min_p исполняется в MLX, а смешанные батчи с различными параметрами sampling не обязаны переключаться с MLX-семплера. Для моделей со скользящим окном, в частности Gemma 4, плиточный prefill пропускает ненужные блоки кеша. Числа ускорения в PR #784 относятся к авторским измерениям отдельных ядер и специальной конфигурации, а не к нашим тестам или гарантии скорости для любого чекпойнта. s1 s3 s4 s5

Установка и миграция

Для стабильного канала разработчики предлагают Homebrew на Apple Silicon с macOS 15 или новее:

brew tap vllm-project/vllm-metal https://github.com/vllm-project/vllm-metal
brew install vllm-project/vllm-metal/vllm-metal

Для готового wheel релиз указывает нативный Python 3.12; связанная с ним MLX закреплена на 0.32.1 из-за совместимости бинарного расширения. Это не инструкция устанавливать произвольный wheel в старое окружение. После установки выбирайте поддерживаемый MLX-чекпойнт из матрицы проекта и проверяйте лицензию самой модели отдельно. Плагин как код открыт по Apache-2.0, но это не предоставляет прав на любые сторонние веса. s1 s2 s3

При обновлении конфигурации удалите VLLM_METAL_MEMORY_FRACTION и настройте бюджет через --gpu-memory-utilization (либо gpu_memory_utilization= в Python API). Прежний переключатель VLLM_METAL_USE_PAGED_ATTENTION и непрерывный путь обслуживания удалены: используется paged attention. Не задавайте для --kv-cache-dtype значения fp8, int8_per_token_head или nvfp4: релиз отклоняет их при старте; документация рекомендует auto либо TurboQuant. s1

Ограничения

Prefix caching для гибридных GDN-моделей остаётся экспериментальным: авторы отмечают расхождение результатов на некоторых промптах с разными суффиксами. Для Granite 4.0 hybrid и Nemotron-H он отключён. Новая опция ядра vLLM --watermark-config в Metal-плагине не поддерживается. Подготовка репаковки блоков GGUF Q4_K/Q5_K ещё не означает, что загрузчик направляет эти типы в новую реализацию. Поэтому не переносите настройки Linux/CUDA сервера на Mac без проверки матрицы моделей и примечаний к релизу. s1 s3