# llama.cpp 0.7.0: менеджер моделей, кэш экспертов и новый порт

Источник: https://modelium.tech/zhurnal/llama-cpp-0-7-0-model-manager-moe-cache-port/

15 октября 2026 года вышел llama.cpp 0.7.0. В веб-интерфейсе появился менеджер моделей, для некоторых крупных моделей добавлен кэш экспертов на видеокарте. Если другая программа подключается к вашему локальному серверу, проверьте адрес: порт по умолчанию изменился с 8080 на 9931. Ускорение зависит от модели и оборудования; своих замеров Modelium не проводил.

Если вы запускаете локальные модели через llama.cpp, выпуск 0.7.0 добавил более удобное управление ими в веб-интерфейсе и новые способы ускорить некоторые большие модели. Есть и изменение, которое легко пропустить: сервер теперь по умолчанию открывается на порту 9931, а не 8080. Это важно, если у вас уже настроены закладка или другая программа для подключения к серверу. [s1](#src-s1) [s4](#src-s4)

**Дата выпуска и проверки:** 15 октября 2026 года. Речь о стабильном теге v0.7.0, а не об очередной ежедневной сборке. Это новость о программе для запуска моделей, не о выпуске новых весов; Modelium не запускал релиз на своём оборудовании. [s1](#src-s1)

## Что меняется при обычном использовании?

В веб-интерфейсе появился менеджер моделей: можно найти нужную модель, увидеть варианты её файлов, отметить избранное, загрузить или выгрузить модель из памяти, а также следить за скачиванием. Это интерфейс самого llama.cpp, а не отдельная программа. Если вы пользуетесь им как локальным чатом, управление несколькими моделями стало нагляднее. [s1](#src-s1) [s2](#src-s2)

Если другая программа подключалась к вашему `llama-server` по адресу `localhost:8080`, после обновления проверьте адрес: порт по умолчанию стал `9931`. Например, при запуске сервера без собственного параметра порта адрес на этом же компьютере будет `localhost:9931`. Чтобы оставить прежний адрес для своей настройки, явно укажите `--port 8080`. В Docker образ проекта продолжает использовать 8080 внутри контейнера; не переносите это исключение на обычный запуск. Порт — номер, по которому программа находит локальный сервер. [s1](#src-s1) [s4](#src-s4)

## Зачем добавлен кэш для больших моделей?

У некоторых моделей с «экспертами» (MoE) для ответа выбирается лишь часть внутренних блоков. Если эти блоки хранятся в оперативной памяти компьютера, новый кэш может временно размещать востребованные блоки на видеокарте вместо повторной загрузки каждого из них. Функция включается отдельно параметром `--moe-cache-mib N`; она не означает, что любая большая модель теперь поместится в видеопамять. В релиз вошла и поддержка кэша на нескольких видеокартах. Это дополнительная настройка для опытного пользователя, а не обязательный шаг после обновления. [s1](#src-s1) [s3](#src-s3)

Авторы изменения сообщили о результате до **2,2 раза быстрее при генерации** на их тесте Qwen3.8-Flash-Next Q4_0: сравнение проводили на RTX 4090 и RTX 5090 с серверной CPU-конфигурацией, PCIe 4.0 и выбранными параметрами кэша. Это **не независимый замер Modelium**, не универсальное ускорение и не минимальные требования к компьютеру. Для короткого запроса, другой модели или иного оборудования результат может отличаться. [s3](#src-s3)

## Какие модели и файлы доступны?

В код v0.7.0 вошла поддержка нескольких архитектур, в том числе MiniCPM-V 4.7, K2 Horizon и Nemotron Super 3.5 VL; для некоторых мультимодальных моделей добавлены средства конвертации и обработки изображения. *Поддержка в программе не равна готовому файлу модели на странице релиза:* веса нужно выбирать в репозитории конкретной модели и отдельно проверять её условия использования и совместимость. В самом GitHub-релизе на момент проверки указан только `nightly-tag.txt` и ссылка на ночную сборку; отдельный готовый бинарный пакет под тегом v0.7.0 там не перечислен. [s1](#src-s1) [s5](#src-s5)

**Что делать сейчас:** если вы уже используете сервер llama.cpp, прежде всего проверьте настроенный порт клиента после обновления; если ничего не подключаете к серверу, менять настройки ради этого релиза не обязательно. Кэш экспертов и новые архитектуры стоит изучать только под свою модель и систему. Для контекста изменений предыдущего выпуска см. [llama.cpp 0.6.0](https://modelium.tech/zhurnal/llama-cpp-0-6-0-systemone-batch-ext-local-models/). [s1](#src-s1) [s4](#src-s4)

## Источники

1. [llama.cpp v0.7.0 — официальный релиз и список изменений](https://github.com/ggml-org/llama.cpp/releases/tag/v0.7.0) — получено 2026-10-15
2. [llama.cpp PR #29583 — Models Manager](https://github.com/ggml-org/llama.cpp/pull/29583) — получено 2026-10-15
3. [llama.cpp PR #29887 — GPU-кэш MoE-экспертов](https://github.com/ggml-org/llama.cpp/pull/29887) — получено 2026-10-15
4. [llama.cpp PR #30159 — серверный порт 9931](https://github.com/ggml-org/llama.cpp/pull/30159) — получено 2026-10-15
5. [llama.cpp PR #30520 — Nemotron Super 3.5 VL и Bolt](https://github.com/ggml-org/llama.cpp/pull/30520) — получено 2026-10-15