vLLM 0.30.0: быстрый перезапуск моделей, HiSparse и новые квантизации

Главное для локального и собственного запуска

Fast Start повторно использует подготовленные веса в GPU

Новый режим Fast Start запускает отдельный daemon кэша весов для каждой GPU. Он удерживает уже преобразованные и разделённые по tensor parallelism веса в памяти ускорителя, а новый процесс vLLM подключает их через CUDA IPC с параметром --load-format ipc_cache, вместо повторной загрузки с диска и подготовки весов. В релизе заявлена поддержка FP4-чекпойнтов и multi-node tensor parallelism. s1

Это полезно при перезапусках сервера, обновлении процесса или восстановлении после сбоя. Однако функция не уменьшает объём модели и не освобождает GPU-память: ускорение достигается именно потому, что daemon продолжает хранить подготовленные веса. Fast Start предназначен для CUDA и ROCm; на неподдерживаемой платформе vLLM должен завершить запуск с понятной ошибкой. s1

HiSparse добавляет уровень KV-кэша в оперативной памяти

HiSparseConnector позволяет sparse-MLA decode выгружать KV-страницы в pinned host memory, когда GPU-память находится под давлением. На GPU остаётся горячий буфер, куда возвращаются top-k страницы, нужные конкретному запросу. Версия 0.30.0 также добавляет счётчики Prometheus и общий host cache для tensor-parallel rank. s1

Это не универсальный CPU offload для любой модели: механизм относится к поддерживаемым sparse-MLA конфигурациям. Производительность будет зависеть от модели, шины, объёма закреплённой памяти и характера запросов; релиз не задаёт единого минимального объёма RAM или VRAM.

Model Runner V2 расширяет рабочие сценарии

Model Runner V2 получил dual-batch overlap в eager-режиме и с полными CUDA Graphs, speculative decoding через MTP, EAGLE3, DFlash и DSpark при pipeline parallelism, а также адаптивную проверку черновых токенов. Авторы релиза сообщают, что заморозка сборщика мусора во время захвата графов в их тесте на H200 сократила graph capture с 12 до 2 секунд, а инициализацию движка — с 28,9 до 8,2 секунды. Это авторский результат для указанной конфигурации, а не универсальная гарантия ускорения. s1

Новые модели и квантизации

В список новых поддерживаемых архитектур вошли DeepSeek-V4.1-Flash, DeepSeek-V4-Flash-Vision-Exp, GLM-5.3-Flash, K2-Horizon, Cohere Compass, Bailing V3 VL и Nanbeige4.2 через Transformers backend. Для DeepSeek V4 появился отдельный CPU backend с AVX512/AMX-реализациями sparse MLA и связанных операций. s1

Квантизационный стек теперь поддерживает выборочное online-квантование через quantization_config.targets, частично предварительно квантованные чекпойнты, W4A16 DSA и AutoRound с 2-, 3-, 5-, 6- и 7-битными весами на CUDA. Наличие метода в runtime не означает, что любой чекпойнт сохранит исходное качество: сравнение точности и скорости нужно проводить на своей модели и нагрузке. s1

Что изменилось в установке

Обычные wheels на PyPI для vLLM 0.30.0 собраны под CUDA 13.0. Официальный релиз отдельно публикует wheels и Docker-образы для CUDA 12.9, а также сборки для ROCm, CPU и XPU. В GitHub Assets присутствуют CPU wheels для Linux x86-64 и arm64, macOS arm64, CUDA 12.9/13.0 для x86-64 и arm64 и XPU для x86-64. PyPI подтверждает выпуск версии 0.30.0 и требование Python 3.10–3.14. s1 s3

Перед обновлением стоит проверить текущий CUDA/PyTorch stack. Команда pip install vllm теперь выбирает основной CUDA 13.0-пакет; если инфраструктура остаётся на CUDA 12.9, следует использовать отдельный официальный wheel или образ, указанный в release notes. s1

Несовместимые изменения

В 0.30.0 scale-out endpoints для обычного vllm serve включаются параметром --enable-scale-out; прежняя переменная VLLM_ENABLE_SCALE_OUT_ENDPOINTS заменена. Удалена поддержка GPTQ activation ordering g_idx, а ряд возможностей, помеченных устаревшими в 0.29, окончательно удалён. Запуск gRPC через python -m vllm.entrypoints.grpc_server объявлен устаревшим в пользу vllm serve --grpc. Поведение YaRN синхронизировано с Transformers, поэтому прежние vendor aliases больше не масштабируют max_model_len автоматически. s1

Стоит ли обновляться

Обновление особенно полезно операторам серверов, которые часто перезапускают большие модели, используют sparse-MLA архитектуры или ждут официальной поддержки свежих DeepSeek, GLM и K2-Horizon. Для одиночной стабильной установки без этих функций срочность ниже: сначала нужно проверить breaking changes, версию CUDA и совместимость используемой квантизации.

Fast Start и HiSparse решают разные задачи: первый сокращает повторную подготовку весов ценой постоянно занятой памяти ускорителя, второй добавляет host-memory tier для KV-кэша определённых sparse-MLA моделей. Ни одна из функций сама по себе не превращает крупную модель в подходящую для любой локальной машины.