Перейти к содержанию
modelium.
Начать с задачи
←
Новость

vLLM Metal 0.32.0: сон локального сервера и распознавание речи на Mac

На странице · 2 разделов

21 октября вышел vLLM Metal 0.32.0 — обновление программы для обслуживания локальных моделей на Mac с Apple Silicon. Сервер теперь умеет освобождать часть памяти в простое, а компоненты для GGUF и распознавания речи устанавливаются без отдельных дополнений. Это инструмент для тех, кто уже запускает модель как локальный сервер, а не новое приложение для простого чата; режим сна не выгружает сами веса модели.

21 октября 2026 года разработчики выпустили стабильный vLLM Metal 0.32.0. Программа позволяет обслуживать локальные модели на Mac с процессором Apple Silicon. Если сервер долго ждёт нового запроса, теперь его можно усыпить: освобождается память, занятая историей обработки запросов (KV-кеш), но загруженные веса модели остаются в общей памяти Mac. Вернуть сервер к работе можно пробуждением. Это полезно, когда с моделью одновременно открыты другие приложения, но не означает полного освобождения памяти. s1

Что стало доступнее после обновления

  • Пакеты для GGUF — распространённого формата файлов локальных моделей — и для распознавания речи теперь входят в обычную установку. Разработчики называют Whisper и Qwen3-ASR как примеры программного распознавания; это не означает, что сами веса этих моделей включены в установщик. s1s3
  • Появился экспериментальный способ запуска текстовых моделей через PyTorch MPS — механизм вычислений на графической части Mac. Основным способом по-прежнему остаётся MLX. Экспериментальный путь ограничен плотными текстовыми моделями без квантования FP16/BF16 и запросами без случайной выборки; модели со смесью экспертов, изображения и многие серверные функции пока не поддерживаются. Новичку переключать режим ради обычного чата не нужно. s1
  • Для владельцев сервера появились дополнительные исправления: видеоввод для Qwen3-VL и плотных Qwen3.5, текстовый запуск Mistral Small 3.1 и более понятный отказ при неподдерживаемом параметре запроса. Перед обновлением стоит сверить совместимость своей модели с таблицей проекта: видео пока поддерживается не у всех. s1s4

Нужно ли что-то делать

Если вы уже используете vLLM Metal на Mac и вам мешает расход памяти в простое или нужна установка компонентов для речи без дополнительных пакетов, изучите релиз и обновление через официальный Homebrew-способ. Требуются Apple Silicon и macOS 15 или новее; руководство по установке описывает готовые сборки без компилятора. Отдельный Python-пакет через обычный pip install vllm-metal разработчики не поддерживают. Для первого знакомства с локальным чатом переходить на серверный стек не требуется. s1s3

Код vLLM Metal имеет лицензию Apache-2.0; это не определяет лицензию скачиваемой модели, её весов и права коммерческого применения — их нужно проверять отдельно. Показатель памяти в релизных заметках для MiniCPM3 на конкретном M5 Pro является измерением авторов при их настройках, а не минимальным требованием к компьютеру. Modelium не запускал эту версию и не измерял её скорость или расход памяти. s1s2

Следующий шаг: откройте официальные заметки v0.32.0 и проверьте в таблице совместимости именно свою модель до обновления. s1s4

Источники

  1. vLLM Metal v0.32.0 — официальный релиз, 21 октября 2026 — Официальные release notes, дата публикации, ограничения MPS и sleep, wheel для macOS arm64.. Получено 22.10.2026.
  2. vLLM Metal v0.32.0 — LICENSE и pyproject.toml — Apache-2.0 метка пакета; LICENSE в том же теге: https://github.com/vllm-project/vllm-metal/blob/v0.32.0/LICENSE. Получено 22.10.2026.
  3. vLLM Metal v0.32.0 — руководство по установке. Получено 22.10.2026.
  4. vLLM Metal v0.32.0 — поддерживаемые модели. Получено 22.10.2026.