HyperQwen для Qwen3.8-27B AWQ: готовые веса и контейнер vllm-qwen-boost 1.3.0

Что изменилось для локального запуска

У исходного AWQ-кванта тело модели сжато по схеме W4A16_ASYM, а vision-башня и часть чувствительных матриц сохранены в BF16. Новые Qwen3.8-27B-AWQ-W4A16-ASYM-HyperQwen и вариант -fast сохраняют тело и vision-башню, но включают предварительно подготовленные эмбеддинги, выходную голову и MTP-модуль. В базовом HyperQwen-варианте они используют INT8; у -fast выходная голова и draft-голова используют INT4 GPTQ. Это даёт возможность не повторять этап подготовки на каждом компьютере. Файлы модели действительно присутствуют в Hugging Face; лицензия карточек — Apache-2.0, та же лицензия указана у исходной Qwen3.8-27B и в репозитории контейнера. Открытые веса не означают, что Modelium проверял их качество или скорость. s2 s3 s4 s5

Проект vllm-qwen-boost объединяет форк HyperQwen, модифицированный vLLM 0.29.0, поддержку асимметричного AWQ с zero-point в INT8 Marlin-пути и включённую по умолчанию обработку изображений. Это не функция стандартного vLLM 0.30.0: для описанного MTP/DFlash2-ускорения и INT8-пути автор использует собственную ветку с патчами. Обычный vLLM 0.29.0, по карточке автора, загружает подготовленный чекпойнт, но не воспроизводит весь стек ускорения без патчей. s2 s4

Как попробовать

Нужны Docker Compose и совместимая NVIDIA-среда. В опубликованном v1.3.0 предусмотрены профили single, batch и tp2; .env.example выбирает CHECKPOINT=uncensored по умолчанию. Для исходного, не «uncensored», варианта задайте CHECKPOINT=base. Зафиксируйте тег образа вместо плавающего latest и настройте ключ API до открытия порта: Compose публикует порт 18020, а без VLLM_API_KEY сервер доступен без аутентификации. s1 s4 s6 s7

git clone https://github.com/Ar4ikov/vllm-qwen-boost
cd vllm-qwen-boost
git checkout v1.3.0
cp .env.example .env
# В .env задайте CHECKPOINT=base, IMAGE_TAG=1.3.0 и VLLM_API_KEY.
docker compose --profile single up -d

Первый запуск скачает контейнер и веса; размер файлов не равен требованию к RAM или VRAM. Автор описывает тестовый запуск на RTX 3090 с видеобашней, выгружаемой в оперативную память, — это конкретная проверенная конфигурация, а не обещание совместимости со всеми картами на 24 ГБ. s4 s6

Что означают показатели автора

В таблице проекта для базового подготовленного чекпойнта с INT8-головами и профилем MTP указано 111,4 токена/с для одного потока на RTX 3090 (350 Вт). Условия: vLLM 0.29.0 с патчами, VISION=1, второй прогон после загрузки, поток реальных запросов с ответами по 1024 токена. Для -fast автор приводит 130,7 токена/с в другом профиле DFlash2; напрямую сравнивать эти два числа как эффект одной квантизации нельзя. Это авторские замеры, не независимый бенчмарк Modelium. Перед рабочим развёртыванием проверьте качество ответов, обработку изображений, потребление памяти и производительность на своих запросах. s2 s3 s4