# AMD выпустила W4A16-квант Qwen3.6-35B-A3B для CPU-инференса

Источник: https://modelium.tech/zhurnal/amd-qwen36-35b-a3b-w4a16-epyc-cpu/

23 сентября AMD опубликовала W4A16/GPTQ-чекпойнт Qwen3.6-35B-A3B для локального CPU-инференса на AMD EPYC с ZenDNN и vLLM. Веса доступны под Apache 2.0; тесты качества в карточке относятся лишь к текстовому GSM8K и проведены самим автором. Quickstart содержит неверный суффикс ID модели, а заявленный размер кванта не совпадает с опубликованным файлом.

AMD выпустила W4A16-квант Qwen3.6-35B-A3B для CPU-инференса

**23 сентября 2026 года** AMD загрузила на Hugging Face новый чекпойнт `Qwen3.6-35B-A3B-w4a16-llmcompressor`: история показывает создание репозитория в 18:03 UTC и загрузку артефактов в 18:05 UTC. Это квантизация существующей Qwen3.6-35B-A3B, а не новая базовая модель. В репозитории есть файл весов `model.safetensors`, конфигурация, токенизатор, рецепт и Apache-2.0 LICENSE. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

## Что меняет квантизация

AMD применила GPTQ/LLM Compressor с 4-битными весами и BF16-активациями (W4A16): группа 128, калибровка на 128 примерах UltraChat с длиной до 2048 токенов. Согласно карточке и рецепту, квантизированы линейные проекции, в том числе routed experts, а visual tower, роутер MoE, embedding и выходная голова оставлены в BF16. Поэтому это *мультимодальный* чекпойнт по конфигурации, но приведённая авторами оценка качества проведена только в текстовом режиме. [s1](#src-s1) [s4](#src-s4)

Один опубликованный файл весов имеет размер **20 321 390 048 байт (около 18,93 GiB) на диске**. В карточке AMD также написано «18,1 GiB» для веса после квантизации и «67,0 GiB» для BF16: первая цифра не совпадает с размером загруженного Safetensors-файла. Здесь за ориентир для загрузки берётся размер самого артефакта из API; ни одна из этих цифр не равна минимальному объёму RAM. Для запуска дополнительно нужны память под активации, KV-кэш и служебные компоненты. [s1](#src-s1) [s3](#src-s3)

## Для кого и как пробовать

Целевая конфигурация авторов — **AMD EPYC, Linux, CPU-инференс с ZenDNN и ZenTorch**. Карточка закрепляет версии ZenDNN 6.1.0, ZenTorch/PyTorch 2.13.0.0, LLM Compressor 0.12.0 и vLLM 0.28.0; её ограничения прямо предупреждают о возможной несовместимости с иными версиями и об отсутствии ориентации на GPU. Это не универсальный INT4-файл для Ollama или GGUF и не обещание работы на любом CPU. [s1](#src-s1)

AMD приводит Python-пример для `vllm.LLM`, но **в строке **`**model=**`** указан идентификатор с суффиксом **`**-v0.12.0**`**, которого нет у опубликованного репозитория**. При попытке воспроизведения следует указывать реальный ID `amd/Qwen3.6-35B-A3B-w4a16-llmcompressor` и сначала сверить версии стека; Modelium загрузку и запуск не тестировал. Образец команды из карточки не стоит копировать без этой поправки. [s1](#src-s1) [s2](#src-s2)

## Что известно о качестве

В собственном тесте AMD через `lm-evaluation-harness` и vLLM на **GSM8K, 5-shot** указаны 0,9651 для BF16 и 0,9613 для W4A16. Команда авторов использует `language_model_only=True`, `enable_thinking=False`, шаблон чата и ограничение контекста 4096; это **авторский результат на одной текстовой задаче**, а не независимая проверка качества изображения, скорости CPU или стабильности мультимодального вывода. Карточка не приводит end-to-end latency и пропускную способность для данного опубликованного пакета. [s1](#src-s1)

## Условия использования

Модель-источник Qwen3.6-35B-A3B и опубликованный AMD чекпойнт содержат текст лицензии **Apache 2.0**. Это допускает коммерческое использование при выполнении условий лицензии, в том числе сохранении уведомлений; сама доступность весов не делает весь программный стек «open source». Проверяйте лицензии зависимостей отдельно. [s5](#src-s5) [s6](#src-s6)

**Итог:** выпуск полезен тем, кто исследует локальное обслуживание Qwen3.6-35B-A3B на EPYC без GPU и готов воспроизвести привязанный AMD стек. Предварительно учитывайте ошибку ID в quickstart, разницу между указанным размером и реальным файлом, а также отсутствие независимых замеров. [s1](#src-s1) [s3](#src-s3)

## Источники

1. [Карточка AMD Qwen3.6-35B-A3B W4A16, закреплённая ревизия](https://huggingface.co/amd/Qwen3.6-35B-A3B-w4a16-llmcompressor/blob/02308c633624ab616d2f757f8d1921dfcc06c0df/README.md) — получено 2026-09-23
2. [История публикации AMD на Hugging Face](https://huggingface.co/amd/Qwen3.6-35B-A3B-w4a16-llmcompressor/commits/main) — получено 2026-09-23
3. [Дерево файлов опубликованного чекпойнта](https://huggingface.co/api/models/amd/Qwen3.6-35B-A3B-w4a16-llmcompressor/tree/02308c633624ab616d2f757f8d1921dfcc06c0df?recursive=true&expand=true) — получено 2026-09-23
4. [Рецепт квантизации AMD](https://huggingface.co/amd/Qwen3.6-35B-A3B-w4a16-llmcompressor/blob/02308c633624ab616d2f757f8d1921dfcc06c0df/recipe.yaml) — получено 2026-09-23
5. [Лицензия опубликованного пакета AMD](https://huggingface.co/amd/Qwen3.6-35B-A3B-w4a16-llmcompressor/blob/02308c633624ab616d2f757f8d1921dfcc06c0df/LICENSE) — получено 2026-09-23
6. [Официальная карточка базовой Qwen3.6-35B-A3B](https://huggingface.co/Qwen/Qwen3.6-35B-A3B) — получено 2026-09-23