llama.cpp b11480: кэш экспертов на GPU для больших локальных моделей
На странице · 3 разделов
В сборке llama.cpp b11480 появился отключённый по умолчанию кэш на видеокарте для частей MoE-моделей, хранящихся в оперативной памяти. Он может ускорить ответ, когда модель не помещается целиком в видеопамять, но требует ручной настройки и пока не работает с несколькими GPU. Это предварительная сборка, а не стабильный релиз.
llama.cpp b11480: кэш экспертов на GPU для больших локальных моделей
Если большая модель частично лежит в оперативной памяти компьютера, ответ может замедляться из-за постоянной передачи данных на видеокарту. В предварительной сборке llama.cpp b11480 от 8 октября 2026 года появилась настройка, которая держит недавно использованные части такой модели в видеопамяти. Обычному пользователю ничего менять не нужно: функция по умолчанию выключена и адресована тем, кто уже настраивает запуск больших моделей. s1 s2
Что именно ускоряет новый кэш?
Некоторые модели устроены как «смесь экспертов» (MoE): при ответе используются не все специализированные части модели сразу. Если эти части, или эксперты, остаются в оперативной памяти, llama.cpp теперь может переносить на GPU только нужные и сохранять недавно использованные в кэше. При повторном обращении часть данных не придётся передавать заново. Настройка --moe-cache-mib N выделяет под кэш N мебибайт видеопамяти; без неё кэш отключён. Для больших пакетов ввода применяется обычный путь переноса, а кэш рассчитан на небольшие пакеты до 32 токенов. s2 s3
Практический смысл: это не уменьшение размера весов и не гарантия, что модель поместится на вашей машине. Кэш конкурирует за видеопамять с другими данными; автоматическая подгонка --fit учитывает его размер и может оставлять на GPU меньше целых слоёв экспертов. Функция требует GPU и не поддерживает одновременную работу на нескольких устройствах. s2 s3
Насколько быстрее в измерениях автора?
В описании изменения автор сравнил генерацию на Qwen3.8-Flash-Next Q4_0 с одним GPU и процессором EPYC 7742, при контексте 32 768 токенов и без ускорения MTP. На RTX 4090 при варианте --fit --moe-cache-mib 6544 он получил 39,4 против 25,0 токена в секунду без кэша; на RTX 5090 — 54,5 против 30,8. Это результаты автора для конкретной модели, нагрузки и конфигурации, а не измерение Modelium и не обещание такого прироста на другом компьютере. В описании также есть другой вариант распределения экспертов с иной величиной кэша: его нельзя смешивать с тем же сравнением --fit. s2
Что делать сейчас?
Если вы только начинаете пользоваться локальными моделями, не обновляйтесь ради этой опции: она предназначена для ручной настройки большой MoE-модели и не даст выигрыша для любой модели. Тем, кто уже работает с llama.cpp и GPU, имеет смысл изучить параметры и сравнить время генерации одного и того же запроса до и после включения кэша на своей системе. Сборка b11480 опубликована с готовыми файлами для нескольких ОС, но помечена как предварительная; сама программа распространяется по MIT, а права на конкретные веса проверяются отдельно. Редакция не запускала эту сборку и не проверяла приведённые команды на реальном GPU. s1 s3 s4
Следующий шаг: посмотреть предыдущий стабильный релиз llama.cpp 0.5.0 и решить, нужен ли вам именно этот экспериментальный параметр.
Источники
- ggml-org/llama.cpp: release b11480 — Предварительная сборка опубликована 2026-10-08T01:36:06Z; GitHub API release и список 36 assets сохранены.. Получено 08.10.2026.
- llama.cpp PR #29887 — GPU cache for MoE experts — Слит 2026-10-07T18:07:46Z; механизм, ограничения <=32 токенов, авторские SPEED-Bench числа и условия.. Получено 08.10.2026.
- llama.cpp b11480: common/arg.cpp, параметр --moe-cache-mib — Флаг и default 0, проверен pinned raw файл; ограничения одного GPU в src/llama-context.cpp из diff PR.. Получено 08.10.2026.
- llama.cpp b11480 LICENSE — MIT лицензия программы, не лицензия модельных весов.. Получено 08.10.2026.