# llama.cpp b11480: кэш экспертов на GPU для больших локальных моделей

Источник: https://modelium.tech/zhurnal/llama-cpp-b11480-moe-expert-gpu-cache/

В сборке llama.cpp b11480 появился отключённый по умолчанию кэш на видеокарте для частей MoE-моделей, хранящихся в оперативной памяти. Он может ускорить ответ, когда модель не помещается целиком в видеопамять, но требует ручной настройки и пока не работает с несколькими GPU. Это предварительная сборка, а не стабильный релиз.

llama.cpp b11480: кэш экспертов на GPU для больших локальных моделей

Если большая модель частично лежит в оперативной памяти компьютера, ответ может замедляться из-за постоянной передачи данных на видеокарту. В предварительной сборке llama.cpp **b11480 от 8 октября 2026 года** появилась настройка, которая держит недавно использованные части такой модели в видеопамяти. Обычному пользователю ничего менять не нужно: функция по умолчанию выключена и адресована тем, кто уже настраивает запуск больших моделей. [s1](#src-s1) [s2](#src-s2)

## Что именно ускоряет новый кэш?

Некоторые модели устроены как «смесь экспертов» (MoE): при ответе используются не все специализированные части модели сразу. Если эти части, или *эксперты*, остаются в оперативной памяти, llama.cpp теперь может переносить на GPU только нужные и сохранять недавно использованные в кэше. При повторном обращении часть данных не придётся передавать заново. Настройка `--moe-cache-mib N` выделяет под кэш N мебибайт видеопамяти; без неё кэш отключён. Для больших пакетов ввода применяется обычный путь переноса, а кэш рассчитан на небольшие пакеты до 32 токенов. [s2](#src-s2) [s3](#src-s3)

**Практический смысл:** это не уменьшение размера весов и не гарантия, что модель поместится на вашей машине. Кэш конкурирует за видеопамять с другими данными; автоматическая подгонка `--fit` учитывает его размер и может оставлять на GPU меньше целых слоёв экспертов. Функция требует GPU и не поддерживает одновременную работу на нескольких устройствах. [s2](#src-s2) [s3](#src-s3)

## Насколько быстрее в измерениях автора?

В описании изменения автор сравнил генерацию на Qwen3.8-Flash-Next Q4_0 с одним GPU и процессором EPYC 7742, при контексте 32 768 токенов и без ускорения MTP. На RTX 4090 при варианте `--fit --moe-cache-mib 6544` он получил **39,4 против 25,0 токена в секунду** без кэша; на RTX 5090 — **54,5 против 30,8**. Это результаты автора для конкретной модели, нагрузки и конфигурации, а не измерение Modelium и не обещание такого прироста на другом компьютере. В описании также есть другой вариант распределения экспертов с иной величиной кэша: его нельзя смешивать с тем же сравнением `--fit`. [s2](#src-s2)

## Что делать сейчас?

Если вы только начинаете пользоваться локальными моделями, **не обновляйтесь ради этой опции**: она предназначена для ручной настройки большой MoE-модели и не даст выигрыша для любой модели. Тем, кто уже работает с llama.cpp и GPU, имеет смысл изучить параметры и сравнить время генерации одного и того же запроса до и после включения кэша на своей системе. Сборка b11480 опубликована с готовыми файлами для нескольких ОС, но помечена как предварительная; сама программа распространяется по MIT, а права на конкретные веса проверяются отдельно. Редакция не запускала эту сборку и не проверяла приведённые команды на реальном GPU. [s1](#src-s1) [s3](#src-s3) [s4](#src-s4)

Следующий шаг: [посмотреть предыдущий стабильный релиз llama.cpp 0.5.0](/zhurnal/llama-cpp-0-5-0-mimo-multi-host-metal-cuda/) и решить, нужен ли вам именно этот экспериментальный параметр.

## Источники

1. [ggml-org/llama.cpp: release b11480](https://github.com/ggml-org/llama.cpp/releases/tag/b11480) — получено 2026-10-08
2. [llama.cpp PR #29887 — GPU cache for MoE experts](https://github.com/ggml-org/llama.cpp/pull/29887) — получено 2026-10-08
3. [llama.cpp b11480: common/arg.cpp, параметр --moe-cache-mib](https://github.com/ggml-org/llama.cpp/blob/b11480/common/arg.cpp) — получено 2026-10-08
4. [llama.cpp b11480 LICENSE](https://github.com/ggml-org/llama.cpp/blob/b11480/LICENSE) — получено 2026-10-08