llama.cpp 0.5.0: MiMo-V2.6, несколько адресов сервера и оптимизации Metal/CUDA

MiMo-V2.6: конвертация, а не новые веса

Встроенный конвертер теперь обрабатывает MiMo-V2.6 Pro и Flash, включая переупаковку MXFP4-экспертов. Автор изменения сообщает, что оба варианта конвертируются и загружаются в llama.cpp с поддержкой зрения без дополнительных изменений архитектуры runtime. При этом аудиодекодер, связанный с мультимодальным projector, исключён из конвертации: не считайте это подтверждением полной аудиоподдержки. Доступность конкретных весов, условия их лицензии и пригодность нужной модальности следует проверять в карточке выбранной модели. s1 s3

Для HunyuanOCR добавлена поддержка DFlash, для HRM-Text / DFM Mimir 1B — поддержка архитектуры; расширена обработка Nemotron MTP и некоторых других семейств. Это совместимость движка, а не самостоятельная публикация новых чекпойнтов. s1

Один сервер — несколько адресов

--host у llama-server принимает список IP-адресов и путей к Unix-сокетам через запятую. Каждый адрес получает собственный listener, но запросы обслуживает один и тот же API и модель через общий пул рабочих потоков. Типичный сценарий — оставить доступ через localhost и одновременно открыть сервер по VPN-адресу; все указанные адреса должны успешно привязаться, иначе запуск прерывается. TCP-listener-ы используют общий порт. s1 s4

Перед открытием адреса во внешней сети отдельно продумайте аутентификацию и сетевые правила: новая возможность меняет способ публикации сервера, а не гарантирует защиту API. Для владельцев router-инсталляций важны также исправления гонок при вытеснении моделей и жизненного цикла дочерних процессов; файл API-ключа больше не передаётся дочерним экземплярам router. s1

Metal, CUDA и мультимодальные ответы

На Apple Silicon добавлены Metal fusion-паттерны для MoE и SSM_CONV. В измерениях авторов PR на M2 Ultra для Qwen3.5 MoE 35B-A3B Q4_K_M скорость генерации в тесте tg32 выросла с 90,26 до 104,87 токена/с относительно сборки b10809; это примерно 1,16× в конкретной конфигурации, не обещание такого результата на любом Mac или другой модели. s5

В CUDA оператор CONV_2D для F16-весов и F32-активаций получил реализацию на implicit GEMM с fallback на прежний путь. Опубликованные разработчиком ускорения относятся к микробенчмаркам отдельной операции на RTX 4090 с CUDA 12.4, а не к скорости генерации модели целиком. s6

llama-server теперь может обработать input_image в function_call_output: это полезно для локальных мультимодальных agent-сценариев, когда инструмент возвращает изображение в диалог. Автор PR сообщает о проверке на Gemma 4; совместимость других моделей нужно проверять отдельно. Также исправлены парсеры вызовов инструментов и обработка нескольких видеоформатов в интерфейсе. s1 s7

Что учитывать при обновлении

В записи стабильного релиза прикреплён только nightly-tag.txt, указывающий на nightly-сборку; готовые бинарники не перечислены как отдельные assets именно у v0.5.0. Если важна воспроизводимость, зафиксируйте исходный тег v0.5.0 или осознанно выберите соответствующий nightly-пакет и проверяйте его отдельно. Релиз не публикует универсальных требований к RAM/VRAM и не доказывает общую прибавку скорости для всех моделей. Modelium не проводил собственных замеров этой версии. s1