AMD выпустила W4A16-квант Qwen3.6-35B-A3B для CPU-инференса

Что меняет квантизация

AMD применила GPTQ/LLM Compressor с 4-битными весами и BF16-активациями (W4A16): группа 128, калибровка на 128 примерах UltraChat с длиной до 2048 токенов. Согласно карточке и рецепту, квантизированы линейные проекции, в том числе routed experts, а visual tower, роутер MoE, embedding и выходная голова оставлены в BF16. Поэтому это мультимодальный чекпойнт по конфигурации, но приведённая авторами оценка качества проведена только в текстовом режиме. s1 s4

Один опубликованный файл весов имеет размер 20 321 390 048 байт (около 18,93 GiB) на диске. В карточке AMD также написано «18,1 GiB» для веса после квантизации и «67,0 GiB» для BF16: первая цифра не совпадает с размером загруженного Safetensors-файла. Здесь за ориентир для загрузки берётся размер самого артефакта из API; ни одна из этих цифр не равна минимальному объёму RAM. Для запуска дополнительно нужны память под активации, KV-кэш и служебные компоненты. s1 s3

Для кого и как пробовать

Целевая конфигурация авторов — AMD EPYC, Linux, CPU-инференс с ZenDNN и ZenTorch. Карточка закрепляет версии ZenDNN 6.1.0, ZenTorch/PyTorch 2.13.0.0, LLM Compressor 0.12.0 и vLLM 0.28.0; её ограничения прямо предупреждают о возможной несовместимости с иными версиями и об отсутствии ориентации на GPU. Это не универсальный INT4-файл для Ollama или GGUF и не обещание работы на любом CPU. s1

AMD приводит Python-пример для vllm.LLM, но в строке model= указан идентификатор с суффиксом -v0.12.0, которого нет у опубликованного репозитория. При попытке воспроизведения следует указывать реальный ID amd/Qwen3.6-35B-A3B-w4a16-llmcompressor и сначала сверить версии стека; Modelium загрузку и запуск не тестировал. Образец команды из карточки не стоит копировать без этой поправки. s1 s2

Что известно о качестве

В собственном тесте AMD через lm-evaluation-harness и vLLM на GSM8K, 5-shot указаны 0,9651 для BF16 и 0,9613 для W4A16. Команда авторов использует language_model_only=True, enable_thinking=False, шаблон чата и ограничение контекста 4096; это авторский результат на одной текстовой задаче, а не независимая проверка качества изображения, скорости CPU или стабильности мультимодального вывода. Карточка не приводит end-to-end latency и пропускную способность для данного опубликованного пакета. s1

Условия использования

Модель-источник Qwen3.6-35B-A3B и опубликованный AMD чекпойнт содержат текст лицензии Apache 2.0. Это допускает коммерческое использование при выполнении условий лицензии, в том числе сохранении уведомлений; сама доступность весов не делает весь программный стек «open source». Проверяйте лицензии зависимостей отдельно. s5 s6

Итог: выпуск полезен тем, кто исследует локальное обслуживание Qwen3.6-35B-A3B на EPYC без GPU и готов воспроизвести привязанный AMD стек. Предварительно учитывайте ошибку ID в quickstart, разницу между указанным размером и реальным файлом, а также отсутствие независимых замеров. s1 s3