# vLLM Metal 0.32.0: сон локального сервера и распознавание речи на Mac

Источник: https://modelium.tech/zhurnal/vllm-metal-0-32-0-sleep-speech-mac/

21 октября вышел vLLM Metal 0.32.0 — обновление программы для обслуживания локальных моделей на Mac с Apple Silicon. Сервер теперь умеет освобождать часть памяти в простое, а компоненты для GGUF и распознавания речи устанавливаются без отдельных дополнений. Это инструмент для тех, кто уже запускает модель как локальный сервер, а не новое приложение для простого чата; режим сна не выгружает сами веса модели.

21 октября 2026 года разработчики выпустили стабильный vLLM Metal 0.32.0. Программа позволяет обслуживать локальные модели на Mac с процессором Apple Silicon. Если сервер долго ждёт нового запроса, теперь его можно усыпить: освобождается память, занятая историей обработки запросов (KV-кеш), но загруженные веса модели остаются в общей памяти Mac. Вернуть сервер к работе можно пробуждением. Это полезно, когда с моделью одновременно открыты другие приложения, но не означает полного освобождения памяти. [s1](#src-s1)

## Что стало доступнее после обновления

- Пакеты для GGUF — распространённого формата файлов локальных моделей — и для распознавания речи теперь входят в обычную установку. Разработчики называют Whisper и Qwen3-ASR как примеры программного распознавания; это не означает, что сами веса этих моделей включены в установщик. [s1](#src-s1)[s3](#src-s3)

- Появился экспериментальный способ запуска текстовых моделей через PyTorch MPS — механизм вычислений на графической части Mac. Основным способом по-прежнему остаётся MLX. Экспериментальный путь ограничен плотными текстовыми моделями без квантования FP16/BF16 и запросами без случайной выборки; модели со смесью экспертов, изображения и многие серверные функции пока не поддерживаются. Новичку переключать режим ради обычного чата не нужно. [s1](#src-s1)

- Для владельцев сервера появились дополнительные исправления: видеоввод для Qwen3-VL и плотных Qwen3.5, текстовый запуск Mistral Small 3.1 и более понятный отказ при неподдерживаемом параметре запроса. Перед обновлением стоит сверить совместимость своей модели с таблицей проекта: видео пока поддерживается не у всех. [s1](#src-s1)[s4](#src-s4)

## Нужно ли что-то делать

Если вы уже используете vLLM Metal на Mac и вам мешает расход памяти в простое или нужна установка компонентов для речи без дополнительных пакетов, изучите релиз и обновление через официальный Homebrew-способ. Требуются Apple Silicon и macOS 15 или новее; руководство по установке описывает готовые сборки без компилятора. Отдельный Python-пакет через обычный `pip install vllm-metal` разработчики не поддерживают. Для первого знакомства с локальным чатом переходить на серверный стек не требуется. [s1](#src-s1)[s3](#src-s3)

Код vLLM Metal имеет лицензию Apache-2.0; это не определяет лицензию скачиваемой модели, её весов и права коммерческого применения — их нужно проверять отдельно. Показатель памяти в релизных заметках для MiniCPM3 на конкретном M5 Pro является измерением авторов при их настройках, а не минимальным требованием к компьютеру. Modelium не запускал эту версию и не измерял её скорость или расход памяти. [s1](#src-s1)[s2](#src-s2)

**Следующий шаг:** откройте официальные заметки v0.32.0 и проверьте в таблице совместимости именно свою модель до обновления. [s1](#src-s1)[s4](#src-s4)

## Источники

1. [vLLM Metal v0.32.0 — официальный релиз, 21 октября 2026](https://github.com/vllm-project/vllm-metal/releases/tag/v0.32.0) — получено 2026-10-22
2. [vLLM Metal v0.32.0 — LICENSE и pyproject.toml](https://github.com/vllm-project/vllm-metal/blob/v0.32.0/pyproject.toml) — получено 2026-10-22
3. [vLLM Metal v0.32.0 — руководство по установке](https://github.com/vllm-project/vllm-metal/blob/v0.32.0/docs/installation.md) — получено 2026-10-22
4. [vLLM Metal v0.32.0 — поддерживаемые модели](https://github.com/vllm-project/vllm-metal/blob/v0.32.0/docs/supported_models.md) — получено 2026-10-22