llama.cpp b11710 ускоряет некоторые модели с группами экспертов на CUDA

Что изменилось

В некоторых моделях эксперты сначала разбиты на группы: программа выбирает подходящие группы, затем — экспертов внутри них. Изменение #29181 объединяет эти вычисления при работе через CUDA, то есть на поддерживаемой видеокарте NVIDIA. Код включён в b11710; новых весов моделей этот выпуск программы не содержит. s1 s2 s3

Автор изменения сравнил прежнюю версию с новой на BailingMoE2 16B.A1B в сжатом формате Q8_0: при генерации от 128 до 1024 единиц текста (токенов) в его таблице получилось около 1,20–1,21 раза больше токенов в секунду. Это авторские измерения одной модели, не независимый тест Modelium и не гарантия для остальных устройств. Конфигурация видеокарты и остальные условия теста в таблице не указаны. s2

Кому стоит обновляться

Изменение относится к моделям, у которых действительно есть выбор групп экспертов, и к соответствующему пути CUDA. Оно не означает, что все модели с экспертами или весь llama.cpp стали быстрее. В обсуждении автор предположил, что DeepSeek V4 не использует именно такую группировку, и указал на Reflection Beam как на новую модель с ней; конкретное ускорение для Beam не измерено. s2 s4

Если ваша локальная модель уже работает стабильно, спешить не нужно: b11710 отмечена разработчиками как предварительная сборка. При желании сравните одну и ту же модель и запрос на своём компьютере до и после обновления, наблюдая скорость выдачи токенов и правильность ответа; это способ проверить эффект именно у вас, а не редакционный воспроизведённый тест. Пользователям готовых приложений стоит дождаться, пока их собственный движок получит соответствующее изменение: номер сборки llama.cpp не равен номеру движка в приложении. s1 s2 s5

Отдельно от этого ускорения можно прочитать о поддержке Reflection Beam в llama.cpp. s4

Источники проверены 17 октября 2026 года.