llama.cpp 0.7.0: менеджер моделей, кэш экспертов и новый порт

Если вы запускаете локальные модели через llama.cpp, выпуск 0.7.0 добавил более удобное управление ими в веб-интерфейсе и новые способы ускорить некоторые большие модели. Есть и изменение, которое легко пропустить: сервер теперь по умолчанию открывается на порту 9931, а не 8080. Это важно, если у вас уже настроены закладка или другая программа для подключения к серверу. s1 s4

Дата выпуска и проверки: 15 октября 2026 года. Речь о стабильном теге v0.7.0, а не об очередной ежедневной сборке. Это новость о программе для запуска моделей, не о выпуске новых весов; Modelium не запускал релиз на своём оборудовании. s1

Что меняется при обычном использовании?

В веб-интерфейсе появился менеджер моделей: можно найти нужную модель, увидеть варианты её файлов, отметить избранное, загрузить или выгрузить модель из памяти, а также следить за скачиванием. Это интерфейс самого llama.cpp, а не отдельная программа. Если вы пользуетесь им как локальным чатом, управление несколькими моделями стало нагляднее. s1 s2

Если другая программа подключалась к вашему llama-server по адресу localhost:8080, после обновления проверьте адрес: порт по умолчанию стал 9931. Например, при запуске сервера без собственного параметра порта адрес на этом же компьютере будет localhost:9931. Чтобы оставить прежний адрес для своей настройки, явно укажите --port 8080. В Docker образ проекта продолжает использовать 8080 внутри контейнера; не переносите это исключение на обычный запуск. Порт — номер, по которому программа находит локальный сервер. s1 s4

Зачем добавлен кэш для больших моделей?

У некоторых моделей с «экспертами» (MoE) для ответа выбирается лишь часть внутренних блоков. Если эти блоки хранятся в оперативной памяти компьютера, новый кэш может временно размещать востребованные блоки на видеокарте вместо повторной загрузки каждого из них. Функция включается отдельно параметром --moe-cache-mib N; она не означает, что любая большая модель теперь поместится в видеопамять. В релиз вошла и поддержка кэша на нескольких видеокартах. Это дополнительная настройка для опытного пользователя, а не обязательный шаг после обновления. s1 s3

Авторы изменения сообщили о результате до 2,2 раза быстрее при генерации на их тесте Qwen3.8-Flash-Next Q4_0: сравнение проводили на RTX 4090 и RTX 5090 с серверной CPU-конфигурацией, PCIe 4.0 и выбранными параметрами кэша. Это не независимый замер Modelium, не универсальное ускорение и не минимальные требования к компьютеру. Для короткого запроса, другой модели или иного оборудования результат может отличаться. s3

Какие модели и файлы доступны?

В код v0.7.0 вошла поддержка нескольких архитектур, в том числе MiniCPM-V 4.7, K2 Horizon и Nemotron Super 3.5 VL; для некоторых мультимодальных моделей добавлены средства конвертации и обработки изображения. Поддержка в программе не равна готовому файлу модели на странице релиза: веса нужно выбирать в репозитории конкретной модели и отдельно проверять её условия использования и совместимость. В самом GitHub-релизе на момент проверки указан только nightly-tag.txt и ссылка на ночную сборку; отдельный готовый бинарный пакет под тегом v0.7.0 там не перечислен. s1 s5

Что делать сейчас: если вы уже используете сервер llama.cpp, прежде всего проверьте настроенный порт клиента после обновления; если ничего не подключаете к серверу, менять настройки ради этого релиза не обязательно. Кэш экспертов и новые архитектуры стоит изучать только под свою модель и систему. Для контекста изменений предыдущего выпуска см. llama.cpp 0.6.0. s1 s4