llama.cpp b11178 исправляет инференс на Moore Threads MTT S5000
На странице · 3 разделов
25 сентября 2026 года вышла предварительная сборка llama.cpp b11178 с набором исправлений для GPU Moore Threads MTT S5000 и MUSA SDK 5.2.0. Разработчики отключили ошибочный MMQ-путь на PH1, устранили зависание TOPK_MOE и включили GATED_DELTA_NET на GPU. В авторских тестах это исправляет некорректные результаты квантованного умножения и ускоряет отдельные сценарии Qwen3.8-27B; для использования MUSA требуется сборка из исходников, а не обычный CUDA-бинарник.
25 сентября 2026 года опубликована предварительная сборка llama.cpp b11178. Её главное изменение для локального инференса — серия исправлений бэкенда MUSA под GPU Moore Threads MTT S5000 (архитектура PH1, MUSA_ARCHITECTURES=31). PR #29193 был принят в основную ветку в 07:16 UTC, а сборка опубликована в 11:16 UTC. Это обновление движка, не новые веса модели и не стабильный номерной релиз. s1 s2
Что исправлено
На PH1 быстрый путь квантованного матричного умножения MMQ возвращал неверные значения для ряда пакетных форм и MUL_MAT_ID. В b11178 для этой архитектуры выбирается корректный путь через dequant/cuBLAS; сама ошибка внутри MMQ не исправлена. По отчёту автора изменений, тестовый набор на одной MTT S5000 после переключения проходит без ошибок, а perplexity модели 27B вместо nan становится конечной. Это существеннее обычной микроприбавки скорости: пользователь прежде мог получить некорректные вычисления. s1 s2
Исправлено также зависание fused TOPK_MOE: в последнем неполном блоке все потоки теперь доходят до синхронизации. По авторским тестам, 418 случаев этого оператора проходят на MUSA без ошибки. Поддержка ARGSORT и TOP_K расширена благодаря включению CUB-путей, а GATED_DELTA_NET больше не отправляется на CPU по причине прежнего запрета сборки ядра. Отдельные правки касаются Flash Attention, атрибутов устройства и CI под MUSA SDK 5.2.0. s1 s2
Скорость — только для проверенной конфигурации
Автор изменений измерил Qwen3.8-27B Q4_K_M на одной MTT S5000 с MUSA SDK 5.2.0, -ngl 999, Flash Attention выключен, по три повтора. После переноса GATED_DELTA_NET на GPU скорость обработки промпта pp512 составила 964,51 → 2119,26 токена/с, генерации tg64 — 10,15 → 15,50 токена/с. Это авторские замеры, а не тесты Modelium: результат не распространяется автоматически на другие карты, модели, квантизации или режим с включённым Flash Attention. Конфигурация теста не является минимальным требованием к памяти. s1
Как получить и что учесть
Официальная инструкция llama.cpp предлагает установить MUSA SDK и собрать проект с cmake -B build -DGGML_MUSA=ON -DMUSA_ARCHITECTURES=31, затем cmake --build build --config Release. Для воспроизведения описанного исправления нужен исходный код тега b11178 или более поздней сборки с этой правкой; в опубликованных бинарных активах b11178 отдельный MUSA-пакет не указан. Проверяйте свою конфигурацию и корректность вывода на реальной модели: тестирование в PR относится к MTT S5000/SDK 5.2.0. Экспериментальная опция MUSA graphs остаётся выключенной по умолчанию; автор на своём стенде увидел замедление с ней. s1 s2 s3
Код llama.cpp распространяется по MIT; это не меняет лицензию весов Qwen или любой другой запускаемой модели. s4
Источники
- ggml-org/llama.cpp: предварительная сборка b11178 — Опубликована 11:16 UTC, помечена prerelease; подробные изменения MUSA, проверки и авторские замеры.. Получено 25.09.2026.
- ggml-org/llama.cpp PR #29193: исправления PH1 (MTT S5000) — Смержен 07:16 UTC; область применения, тесты и оставшиеся ограничения.. Получено 25.09.2026.
- Официальная инструкция сборки llama.cpp с MUSA на теге b11178 — Параметры GGML_MUSA и MUSA_ARCHITECTURES=31, необходимость MUSA SDK.. Получено 25.09.2026.
- Лицензия MIT кода llama.cpp на теге b11178 — Лицензия runtime отдельно от лицензии весов.. Получено 25.09.2026.