# llama.cpp 0.5.0: MiMo-V2.6, несколько адресов сервера и оптимизации Metal/CUDA

Источник: https://modelium.tech/zhurnal/llama-cpp-0-5-0-mimo-multi-host-metal-cuda/

23 сентября 2026 года вышел стабильный llama.cpp 0.5.0. В версии появились конвертация MiMo-V2.6 Pro/Flash в GGUF, привязка одного llama-server к нескольким адресам, передача изображения из ответа инструмента, исправления роутера и ускорения отдельных операций Metal и CUDA. Это обновление движка, а не выпуск новых весов: модель и её лицензию нужно выбирать отдельно.

ggml-org выпустила стабильный **llama.cpp 0.5.0** 23 сентября 2026 года (20:50 UTC). По официальному changelog это следующее стабильное обновление после 0.4.1. Важнее всего для пользователей локальных моделей — поддержка конвертации MiMo-V2.6, более гибкая привязка `llama-server` к сети, исправления обслуживания моделей и оптимизации вычислительных бэкендов. Исходный код llama.cpp в теге v0.5.0 распространяется по MIT; это **не** меняет лицензии запускаемых моделей. [s1](#src-s1) [s2](#src-s2)

## MiMo-V2.6: конвертация, а не новые веса

Встроенный конвертер теперь обрабатывает MiMo-V2.6 Pro и Flash, включая переупаковку MXFP4-экспертов. Автор изменения сообщает, что оба варианта конвертируются и загружаются в llama.cpp с поддержкой зрения без дополнительных изменений архитектуры runtime. При этом аудиодекодер, связанный с мультимодальным projector, исключён из конвертации: **не считайте это подтверждением полной аудиоподдержки**. Доступность конкретных весов, условия их лицензии и пригодность нужной модальности следует проверять в карточке выбранной модели. [s1](#src-s1) [s3](#src-s3)

Для HunyuanOCR добавлена поддержка DFlash, для HRM-Text / DFM Mimir 1B — поддержка архитектуры; расширена обработка Nemotron MTP и некоторых других семейств. Это совместимость движка, а не самостоятельная публикация новых чекпойнтов. [s1](#src-s1)

## Один сервер — несколько адресов

`--host` у `llama-server` принимает список IP-адресов и путей к Unix-сокетам через запятую. Каждый адрес получает собственный listener, но запросы обслуживает один и тот же API и модель через общий пул рабочих потоков. Типичный сценарий — оставить доступ через localhost и одновременно открыть сервер по VPN-адресу; все указанные адреса должны успешно привязаться, иначе запуск прерывается. TCP-listener-ы используют общий порт. [s1](#src-s1) [s4](#src-s4)

Перед открытием адреса во внешней сети отдельно продумайте аутентификацию и сетевые правила: новая возможность меняет способ публикации сервера, а не гарантирует защиту API. Для владельцев router-инсталляций важны также исправления гонок при вытеснении моделей и жизненного цикла дочерних процессов; файл API-ключа больше не передаётся дочерним экземплярам router. [s1](#src-s1)

## Metal, CUDA и мультимодальные ответы

На Apple Silicon добавлены Metal fusion-паттерны для MoE и SSM_CONV. В измерениях **авторов PR** на M2 Ultra для Qwen3.5 MoE 35B-A3B Q4_K_M скорость генерации в тесте `tg32` выросла с 90,26 до 104,87 токена/с относительно сборки b10809; это примерно 1,16× в конкретной конфигурации, не обещание такого результата на любом Mac или другой модели. [s5](#src-s5)

В CUDA оператор `CONV_2D` для F16-весов и F32-активаций получил реализацию на implicit GEMM с fallback на прежний путь. Опубликованные разработчиком ускорения относятся к **микробенчмаркам отдельной операции** на RTX 4090 с CUDA 12.4, а не к скорости генерации модели целиком. [s6](#src-s6)

`llama-server` теперь может обработать `input_image` в `function_call_output`: это полезно для локальных мультимодальных agent-сценариев, когда инструмент возвращает изображение в диалог. Автор PR сообщает о проверке на Gemma 4; совместимость других моделей нужно проверять отдельно. Также исправлены парсеры вызовов инструментов и обработка нескольких видеоформатов в интерфейсе. [s1](#src-s1) [s7](#src-s7)

## Что учитывать при обновлении

В записи стабильного релиза прикреплён только `nightly-tag.txt`, указывающий на nightly-сборку; **готовые бинарники не перечислены как отдельные assets именно у v0.5.0**. Если важна воспроизводимость, зафиксируйте исходный тег v0.5.0 или осознанно выберите соответствующий nightly-пакет и проверяйте его отдельно. Релиз не публикует универсальных требований к RAM/VRAM и не доказывает общую прибавку скорости для всех моделей. Modelium не проводил собственных замеров этой версии. [s1](#src-s1)

## Источники

1. [ggml-org/llama.cpp v0.5.0 release notes](https://github.com/ggml-org/llama.cpp/releases/tag/v0.5.0) — получено 2026-09-23
2. [MIT LICENSE at llama.cpp v0.5.0](https://raw.githubusercontent.com/ggml-org/llama.cpp/v0.5.0/LICENSE) — получено 2026-09-23
3. [ggml-org/llama.cpp PR #29257: MiMo-V2.6 conversion](https://github.com/ggml-org/llama.cpp/pull/29257) — получено 2026-09-23
4. [ggml-org/llama.cpp PR #28690: multiple server bind addresses](https://github.com/ggml-org/llama.cpp/pull/28690) — получено 2026-09-23
5. [ggml-org/llama.cpp PR #28948: Metal MoE and SSM_CONV fusions](https://github.com/ggml-org/llama.cpp/pull/28948) — получено 2026-09-23
6. [ggml-org/llama.cpp PR #29135: CUDA conv2d implicit GEMM](https://github.com/ggml-org/llama.cpp/pull/29135) — получено 2026-09-23
7. [ggml-org/llama.cpp PR #22575: image in function call output](https://github.com/ggml-org/llama.cpp/pull/22575) — получено 2026-09-23