# vLLM Metal 0.30.0: единый KV-кеш и поддержка Granite 4.0 на Mac

Источник: https://modelium.tech/zhurnal/vllm-metal-0-30-0-unified-kv-apple-silicon/

23 сентября 2026 года вышел стабильный vLLM Metal 0.30.0 — локальный сервер инференса на Apple Silicon с ядром vLLM 0.30.0. Новый общий менеджер KV-кеша устраняет отдельные пулы состояния для гибридных моделей; добавлена поддержка Granite 4.0 hybrid и нативный min-p в MLX. При обновлении нужно заменить старую переменную размера кеша на --gpu-memory-utilization и учесть ограничения prefix caching. Сам релиз не содержит весов моделей.

vLLM Metal 0.30.0: общий KV-кеш для локального сервера на Mac

**23 сентября 2026 года** команда vLLM выпустила стабильный плагин vLLM Metal 0.30.0 для Apple Silicon. Он соответствует ядру vLLM 0.30.0, но это отдельный релиз Metal-плагина: статья об изменениях ядра не заменяет проверку совместимости на macOS. К релизу приложено колесо для Python 3.12, macOS 15 и arm64. Репозиторий плагина распространяется по Apache-2.0; веса моделей в релиз не входят и сохраняют собственные условия использования. [s1](#src-s1) [s2](#src-s2)

## Что меняется при локальном запуске

Раньше плагин обслуживал часть гибридного состояния в отдельных пулах. В 0.30.0 выделением и физической раскладкой кеша управляет vLLM, а Metal обращается к нему через MLX-представления без копирования. По описанию разработчиков, гибридные модели теперь используют общий бюджет кеша. Это изменение архитектуры хранения, **не обещание конкретного ускорения или снижения требуемой памяти** на любом Mac. [s1](#src-s1)

Добавлено обслуживание гибридных чекпойнтов Granite 4.0 на страничном состоянии, включая варианты dense/MoE и RoPE/NoPE. В документации релиза показан `mlx-community/granite-4.0-h-micro-4bit`; для этого семейства prefix caching отключён, поскольку рекуррентное состояние остаётся приватным для запроса. При выборке `min_p` исполняется в MLX, а смешанные батчи с различными параметрами sampling не обязаны переключаться с MLX-семплера. Для моделей со скользящим окном, в частности Gemma 4, плиточный prefill пропускает ненужные блоки кеша. Числа ускорения в PR #784 относятся к авторским измерениям отдельных ядер и специальной конфигурации, а не к нашим тестам или гарантии скорости для любого чекпойнта. [s1](#src-s1) [s3](#src-s3) [s4](#src-s4) [s5](#src-s5)

## Установка и миграция

Для стабильного канала разработчики предлагают Homebrew на Apple Silicon с macOS 15 или новее:

brew tap vllm-project/vllm-metal https://github.com/vllm-project/vllm-metalbrew install vllm-project/vllm-metal/vllm-metal

Для готового wheel релиз указывает нативный Python 3.12; связанная с ним MLX закреплена на **0.32.1** из-за совместимости бинарного расширения. Это не инструкция устанавливать произвольный wheel в старое окружение. После установки выбирайте поддерживаемый MLX-чекпойнт из матрицы проекта и проверяйте лицензию **самой модели** отдельно. Плагин как код открыт по Apache-2.0, но это не предоставляет прав на любые сторонние веса. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

При обновлении конфигурации удалите `VLLM_METAL_MEMORY_FRACTION` и настройте бюджет через `--gpu-memory-utilization` (либо `gpu_memory_utilization=` в Python API). Прежний переключатель `VLLM_METAL_USE_PAGED_ATTENTION` и непрерывный путь обслуживания удалены: используется paged attention. Не задавайте для `--kv-cache-dtype` значения `fp8`, `int8_per_token_head` или `nvfp4`: релиз отклоняет их при старте; документация рекомендует `auto` либо TurboQuant. [s1](#src-s1)

## Ограничения

Prefix caching для гибридных GDN-моделей остаётся экспериментальным: авторы отмечают расхождение результатов на некоторых промптах с разными суффиксами. Для Granite 4.0 hybrid и Nemotron-H он отключён. Новая опция ядра vLLM `--watermark-config` в Metal-плагине не поддерживается. Подготовка репаковки блоков GGUF Q4_K/Q5_K ещё не означает, что загрузчик направляет эти типы в новую реализацию. Поэтому не переносите настройки Linux/CUDA сервера на Mac без проверки матрицы моделей и примечаний к релизу. [s1](#src-s1) [s3](#src-s3)

## Источники

1. [vLLM Metal v0.30.0 — официальный стабильный релиз](https://github.com/vllm-project/vllm-metal/releases/tag/v0.30.0) — получено 2026-09-27
2. [vllm-metal v0.30.0: pyproject.toml и лицензия](https://github.com/vllm-project/vllm-metal/blob/v0.30.0/pyproject.toml) — получено 2026-09-27
3. [vllm-metal v0.30.0: README и матрица поддерживаемых моделей](https://github.com/vllm-project/vllm-metal/blob/v0.30.0/README.md) — получено 2026-09-27
4. [PR #759: поддержка Granite 4.0 hybrid](https://github.com/vllm-project/vllm-metal/pull/759) — получено 2026-09-27
5. [PR #784: ограничение цикла плиточного prefill скользящим окном](https://github.com/vllm-project/vllm-metal/pull/784) — получено 2026-09-27