llama.cpp b11476 ускоряет одну операцию Metal на Mac — не весь ответ модели
На странице · 3 разделов
7 октября вышла предварительная сборка llama.cpp b11476: для части форматов весов она быстрее выполняет небольшие матричные операции на видеоядре Mac. Авторы измерили отдельную вычислительную операцию на M3 Ultra, а не ускорение готового ответа модели. Если вы уже пользуетесь llama.cpp на Mac, сравнивайте новую сборку на собственной задаче; новичку менять рабочую установку только ради этих цифр не требуется.
llama.cpp b11476 ускоряет одну операцию Metal на Mac — не весь ответ модели
Если локальная модель работает на Mac, новая предварительная сборка llama.cpp b11476 может ускорить некоторые её внутренние вычисления. Но заявленные разработчиком цифры относятся к одной операции, а не ко времени ожидания ответа в чате. Сборка вышла 7 октября 2026 года; новых весов моделей этот выпуск не содержит. s1 s2
Что изменилось
Metal — способ задействовать графический процессор Apple. В b11476 движок научился выбирать более быстрый способ умножать небольшие группы чисел модели для большего числа форматов весов. Весами называют сохранённые числовые параметры модели; BF16, MXFP4 и Q2_K — разные способы их хранения, в том числе с уменьшенной точностью. Речь о внутреннем вычислении, не о новой кнопке в интерфейсе. s2
Обновление расширяет ранее добавленную оптимизацию на BF16, MXFP4 и несколько других форматов. Для человека, который просто переписывается с моделью, это не обещание, что ответ придёт в несколько раз быстрее: скорость зависит также от модели, длины запроса и других операций. s2
Как читать цифры разработчика
Автор изменения сравнил одну операцию умножения (MUL_MAT) на Mac с M3 Ultra и macOS 15.7.9. На небольших блоках от 9 до 16 строк она выполнялась в 3,06–4,14 раза быстрее для вновь подключённых форматов; при 512 строках разница составляла не более 1%. Каждый вариант измерялся в двух перемежающихся сериях, а часть результатов между сериями заметно колебалась. Это авторский замер внутреннего ядра, не независимый тест Modelium и не замер полноценного чата. M3 Ultra — компьютер теста, а не минимальное требование. s2
Нужно ли обновляться
Если вы уже запускаете модель через llama.cpp на Mac и именно скорость важна для вашей работы, можно взять официальную сборку b11476 и сравнить время ответа той же модели на том же запросе со своей текущей версией. Если всё работает и сравнивать не планируете, спешить из-за одного микроизмерения не нужно: GitHub помечает b11476 как предварительную сборку. Другие системы и графические движки не являются предметом заявленного ускорения; скачанные веса сохраняют собственные условия использования, отдельно от MIT-лицензии llama.cpp. s1 s2 s3
Это изменение производительности, а не исправление некорректных ответов. Отдельное исправление вероятностей Clef в b11475 уже описано в журнале.
Источники проверены 7 октября 2026 года; сборку и модель редакция не запускала.
Источники
- ggml-org/llama.cpp b11476 — GitHub Release. Получено 07.10.2026.
- ggml-org/llama.cpp PR #30065 — Metal few-row MMA. Получено 07.10.2026.
- llama.cpp LICENSE в теге b11476. Получено 07.10.2026.