# HyperQwen для Qwen3.8-27B AWQ: готовые веса и контейнер vllm-qwen-boost 1.3.0

Источник: https://modelium.tech/zhurnal/hyperqwen-awq-qwen38-27b-vllm-boost-1-3/

22 сентября 2026 года автор Ar4ikov выложил подготовленные AWQ-чекпойнты Qwen3.8-27B и релиз vllm-qwen-boost 1.3.0 для локального запуска через Docker и модифицированный vLLM 0.29.0. Веса доступны под Apache-2.0; ускорения на RTX 3090 — замеры автора, а не независимая проверка.

22 сентября 2026 года автор Ar4ikov опубликовал подготовленные чекпойнты **Qwen3.8-27B AWQ для HyperQwen** и релиз `v1.3.0` контейнерного проекта `vllm-qwen-boost`. Событие не следует путать с исходным AWQ-квантом этого же автора: его файлы появились ещё 15 августа; новые здесь — подготовка голов и MTP для HyperQwen, отдельные веса и контейнерный способ запуска. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s8](#src-s8)

## Что изменилось для локального запуска

У исходного AWQ-кванта тело модели сжато по схеме W4A16_ASYM, а vision-башня и часть чувствительных матриц сохранены в BF16. Новые `Qwen3.8-27B-AWQ-W4A16-ASYM-HyperQwen` и вариант `-fast` сохраняют тело и vision-башню, но включают предварительно подготовленные эмбеддинги, выходную голову и MTP-модуль. В базовом HyperQwen-варианте они используют INT8; у `-fast` выходная голова и draft-голова используют INT4 GPTQ. Это даёт возможность не повторять этап подготовки на каждом компьютере. Файлы модели действительно присутствуют в Hugging Face; лицензия карточек — **Apache-2.0**, та же лицензия указана у исходной Qwen3.8-27B и в репозитории контейнера. Открытые веса не означают, что Modelium проверял их качество или скорость. [s2](#src-s2) [s3](#src-s3) [s4](#src-s4) [s5](#src-s5)

Проект `vllm-qwen-boost` объединяет форк HyperQwen, модифицированный **vLLM 0.29.0**, поддержку асимметричного AWQ с zero-point в INT8 Marlin-пути и включённую по умолчанию обработку изображений. Это не функция стандартного vLLM 0.30.0: для описанного MTP/DFlash2-ускорения и INT8-пути автор использует собственную ветку с патчами. Обычный vLLM 0.29.0, по карточке автора, загружает подготовленный чекпойнт, но не воспроизводит весь стек ускорения без патчей. [s2](#src-s2) [s4](#src-s4)

## Как попробовать

Нужны Docker Compose и совместимая NVIDIA-среда. В опубликованном `v1.3.0` предусмотрены профили `single`, `batch` и `tp2`; `.env.example` выбирает `CHECKPOINT=uncensored` по умолчанию. Для исходного, не «uncensored», варианта задайте `CHECKPOINT=base`. Зафиксируйте тег образа вместо плавающего `latest` и настройте ключ API **до** открытия порта: Compose публикует порт `18020`, а без `VLLM_API_KEY` сервер доступен без аутентификации. [s1](#src-s1) [s4](#src-s4) [s6](#src-s6) [s7](#src-s7)

git clone https://github.com/Ar4ikov/vllm-qwen-boostcd vllm-qwen-boostgit checkout v1.3.0cp .env.example .env# В .env задайте CHECKPOINT=base, IMAGE_TAG=1.3.0 и VLLM_API_KEY.docker compose --profile single up -d

Первый запуск скачает контейнер и веса; размер файлов не равен требованию к RAM или VRAM. Автор описывает тестовый запуск на **RTX 3090** с видеобашней, выгружаемой в оперативную память, — это конкретная проверенная конфигурация, а не обещание совместимости со всеми картами на 24 ГБ. [s4](#src-s4) [s6](#src-s6)

## Что означают показатели автора

В таблице проекта для базового подготовленного чекпойнта с INT8-головами и профилем MTP указано **111,4 токена/с** для одного потока на RTX 3090 (350 Вт). Условия: vLLM 0.29.0 с патчами, `VISION=1`, второй прогон после загрузки, поток реальных запросов с ответами по 1024 токена. Для `-fast` автор приводит 130,7 токена/с в другом профиле DFlash2; напрямую сравнивать эти два числа как эффект одной квантизации нельзя. Это **авторские замеры**, не независимый бенчмарк Modelium. Перед рабочим развёртыванием проверьте качество ответов, обработку изображений, потребление памяти и производительность на своих запросах. [s2](#src-s2) [s3](#src-s3) [s4](#src-s4)

## Источники

1. [vllm-qwen-boost v1.3.0 — официальный релиз](https://github.com/Ar4ikov/vllm-qwen-boost/releases/tag/v1.3.0) — получено 2026-09-22
2. [Qwen3.8-27B-AWQ-W4A16-ASYM-HyperQwen — закреплённая карточка](https://huggingface.co/Ar4ikov/Qwen3.8-27B-AWQ-W4A16-ASYM-HyperQwen/blob/73e8176fe7438f1c98665c8ef602cef79b9635c4/README.md) — получено 2026-09-22
3. [Qwen3.8-27B-AWQ-W4A16-ASYM-HyperQwen-fast — закреплённая карточка](https://huggingface.co/Ar4ikov/Qwen3.8-27B-AWQ-W4A16-ASYM-HyperQwen-fast/blob/3565e56b5d4fe306a652584a36e72ed3460ae5f4/README.md) — получено 2026-09-22
4. [vllm-qwen-boost v1.3.0 — README проекта](https://github.com/Ar4ikov/vllm-qwen-boost/blob/v1.3.0/README.md) — получено 2026-09-22
5. [Официальная Qwen3.8-27B — метаданные модели](https://huggingface.co/api/models/Qwen/Qwen3.8-27B) — получено 2026-09-22
6. [vllm-qwen-boost v1.3.0 — compose и профили](https://github.com/Ar4ikov/vllm-qwen-boost/blob/v1.3.0/docker-compose.yml) — получено 2026-09-22
7. [vllm-qwen-boost v1.3.0 — образец настроек](https://github.com/Ar4ikov/vllm-qwen-boost/blob/v1.3.0/.env.example) — получено 2026-09-22
8. [Исходный AWQ-квант — история загрузки в HF](https://huggingface.co/api/models/Ar4ikov/Qwen3.8-27B-AWQ-W4A16-ASYM/commits/main) — получено 2026-09-22