vLLM 0.31.0: команда preload, защита мультимодальных запросов и новые модели

Что даёт vllm preload

В vLLM 0.30.0 уже был механизм повторного использования подготовленных весов через CUDA IPC. Версия 0.31.0 добавляет для него отдельный интерфейс запуска vllm preload: процесс-демон заранее загружает, обрабатывает и удерживает весовые шарды в памяти GPU; новый процесс сервера подключает их с --load-format ipc_cache вместо повторной загрузки и подготовки. Официальный пример предполагает одинаковые модель и схему tensor parallelism у демона и сервера. Это полезно при частых перезапусках, но не сокращает размер модели и не превращает CPU-сервер в GPU-сервер. s1 s3

Документация закреплённой версии ограничивает preload платформами CUDA и ROCm; pipeline parallelism при запуске демона не поддерживается. При несовпадении отпечатка весов или недоступном демоне загрузчик по умолчанию возвращается к обычной загрузке с диска. Режим zero-copy требует, чтобы демон оставался живым в течение работы сервера; режим sleep с выгрузкой весов с ним несовместим. В отдельной инфраструктуре проверьте жизненный цикл демона, версию обеих сторон, права на сокет и запас памяти именно на своих моделях. Заявление документации о сокращении перезапуска «с минут до секунд» — оценка разработчиков, а не измерение Modelium. s3

Безопасность и совместимость API

Теперь отдельный запрос не может передать mm_processor_kwargs или media_io_kwargs без явного флага сервера --trust-request-mm-kwargs. По объяснению разработчиков, недоверенные переопределения могли вызвать чрезмерную обработку изображений и видео и исчерпать память. Серверные параметры и офлайн-API остаются отдельными путями; если приложение раньше передавало эти поля в запросах, миграция может потребовать пересмотра доверия и конфигурации, а не слепого включения флага. s1 s4

Есть и другие несовместимые изменения: удалён режим токенизатора slow, переименован флаг checkpoint для Mamba prefix cache, изменён способ онлайн FP8-квантования. Перед заменой образа проверьте свои аргументы запуска по release notes, особенно при использовании мультимодальности и квантования. s1

Модели, платформы и установка

Релиз перечисляет дополнительные пути для MiMo V2, GLM-5.3-Flash, Qwen3.8-Flash-Next, DeepSeek-V4.1-Flash и DiffusionGemma, а также исправления CPU, ROCm и Intel XPU. Наличие пункта в changelog не доказывает, что любой чекпойнт этого семейства запустится на любой карте: формат весов, backend и версия модели должны совпасть. Производительность в своём стеке нужно измерять отдельно; чисел ускорения для произвольного оборудования здесь нет. s1

На момент редакционной проверки GitHub отмечал v0.31.0 как стабильный выпуск и уже размещал исходный архив и wheel-файлы для CPU, CUDA и XPU. При этом публичные метаданные PyPI всё ещё показывали 0.30.0. Поэтому не считайте обычную команду установки без закреплённой версии подтверждением перехода на 0.31.0: сверяйте номер полученного пакета, совместимость вашей платформы и официальный артефакт. Мы не загружали крупные колёса и не запускали vLLM на тестовой машине. s1 s5

Кому обновляться: тем, кто эксплуатирует собственный GPU-сервер и хочет использовать повторную загрузку весов через новый CLI или нуждается в исправлениях конкретной модели. Для остальных разумно сначала проверить breaking changes и появление нужного пакета в своём канале установки; стабильный тег сам по себе не означает проверенную совместимость с вашей конфигурацией. s1 s3