# llama.cpp b11178 исправляет инференс на Moore Threads MTT S5000

Источник: https://modelium.tech/zhurnal/llama-cpp-b11178-musa-mtt-s5000-correctness/

25 сентября 2026 года вышла предварительная сборка llama.cpp b11178 с набором исправлений для GPU Moore Threads MTT S5000 и MUSA SDK 5.2.0. Разработчики отключили ошибочный MMQ-путь на PH1, устранили зависание TOPK_MOE и включили GATED_DELTA_NET на GPU. В авторских тестах это исправляет некорректные результаты квантованного умножения и ускоряет отдельные сценарии Qwen3.8-27B; для использования MUSA требуется сборка из исходников, а не обычный CUDA-бинарник.

25 сентября 2026 года опубликована **предварительная сборка llama.cpp b11178**. Её главное изменение для локального инференса — серия исправлений бэкенда **MUSA** под GPU **Moore Threads MTT S5000** (архитектура PH1, `MUSA_ARCHITECTURES=31`). PR #29193 был принят в основную ветку в 07:16 UTC, а сборка опубликована в 11:16 UTC. Это обновление **движка**, не новые веса модели и не стабильный номерной релиз. [s1](#src-s1) [s2](#src-s2)

## Что исправлено

На PH1 быстрый путь квантованного матричного умножения **MMQ** возвращал неверные значения для ряда пакетных форм и `MUL_MAT_ID`. В b11178 для этой архитектуры выбирается корректный путь через dequant/cuBLAS; сама ошибка внутри MMQ **не исправлена**. По отчёту автора изменений, тестовый набор на одной MTT S5000 после переключения проходит без ошибок, а perplexity модели 27B вместо `nan` становится конечной. Это существеннее обычной микроприбавки скорости: пользователь прежде мог получить некорректные вычисления. [s1](#src-s1) [s2](#src-s2)

Исправлено также зависание fused `TOPK_MOE`: в последнем неполном блоке все потоки теперь доходят до синхронизации. По авторским тестам, 418 случаев этого оператора проходят на MUSA без ошибки. Поддержка `ARGSORT` и `TOP_K` расширена благодаря включению CUB-путей, а `GATED_DELTA_NET` больше не отправляется на CPU по причине прежнего запрета сборки ядра. Отдельные правки касаются Flash Attention, атрибутов устройства и CI под MUSA SDK 5.2.0. [s1](#src-s1) [s2](#src-s2)

## Скорость — только для проверенной конфигурации

Автор изменений измерил **Qwen3.8-27B Q4_K_M** на **одной MTT S5000** с **MUSA SDK 5.2.0**, `-ngl 999`, **Flash Attention выключен**, по три повтора. После переноса `GATED_DELTA_NET` на GPU скорость обработки промпта `pp512` составила **964,51 → 2119,26 токена/с**, генерации `tg64` — **10,15 → 15,50 токена/с**. Это **авторские замеры**, а не тесты Modelium: результат не распространяется автоматически на другие карты, модели, квантизации или режим с включённым Flash Attention. Конфигурация теста не является минимальным требованием к памяти. [s1](#src-s1)

## Как получить и что учесть

Официальная инструкция llama.cpp предлагает установить **MUSA SDK** и собрать проект с `cmake -B build -DGGML_MUSA=ON -DMUSA_ARCHITECTURES=31`, затем `cmake --build build --config Release`. Для воспроизведения описанного исправления нужен исходный код **тега b11178** или более поздней сборки с этой правкой; в опубликованных бинарных активах b11178 отдельный MUSA-пакет не указан. Проверяйте свою конфигурацию и корректность вывода на реальной модели: тестирование в PR относится к MTT S5000/SDK 5.2.0. Экспериментальная опция MUSA graphs остаётся выключенной по умолчанию; автор на своём стенде увидел замедление с ней. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

Код llama.cpp распространяется по **MIT**; это не меняет лицензию весов Qwen или любой другой запускаемой модели. [s4](#src-s4)

## Источники

1. [ggml-org/llama.cpp: предварительная сборка b11178](https://github.com/ggml-org/llama.cpp/releases/tag/b11178) — получено 2026-09-25
2. [ggml-org/llama.cpp PR #29193: исправления PH1 (MTT S5000)](https://github.com/ggml-org/llama.cpp/pull/29193) — получено 2026-09-25
3. [Официальная инструкция сборки llama.cpp с MUSA на теге b11178](https://github.com/ggml-org/llama.cpp/blob/b11178/docs/build.md) — получено 2026-09-25
4. [Лицензия MIT кода llama.cpp на теге b11178](https://github.com/ggml-org/llama.cpp/blob/b11178/LICENSE) — получено 2026-09-25