# MLX-Serve 26.10.1: GGUF в MLX-движке и поддержка Kev на Mac

Источник: https://modelium.tech/zhurnal/mlx-serve-26-10-1-gguf-kev-apple-silicon/

Стабильный MLX-Serve 26.10.1 от 1 октября добавил опциональный MLX-путь для GGUF моделей Qwen 3.5/3.6/3.8 и Gemma 4, а также поддержку Kev в /v1/decisions. Это обновление локального runtime для Apple Silicon, не выпуск новых базовых весов. Ускорения до 66% заявлены автором для отдельных конфигураций и не проверялись Modelium.

MLX-Serve 26.10.1: GGUF через MLX и Kev в API решений

**1 октября 2026 года** вышел стабильный MLX-Serve 26.10.1 для Apple Silicon. Два изменения полезны тем, кто выбирает локальный стек: часть GGUF-файлов теперь может идти через собственный MLX-движок приложения вместо встроенного fallback на llama.cpp, а модель Kev получила публичную поддержку в API типизированных решений. Версия самого runtime подтверждена релизом; новая базовая модель этим выпуском не создана. [s1](#src-s1)

## Что меняется при запуске GGUF

Разработчик перечисляет Qwen 3.5, 3.6 и 3.8 — плотные модели и MoE — и Gemma 4 как поддерживаемые семейства нового пути. Для них включение `--mlx-gguf` или переключателя Settings → Engines направляет чтение GGUF-тензоров в реализацию Zig/Metal. Тогда становятся доступны механизмы MLX-пути, включая prefix cache, batching, speculative decoding и обработку вызовов инструментов. **Это не общее обещание поддержки любого GGUF**: прочие семейства остаются на прежнем встроенном движке. Режим опционален; сверяйте конкретную архитектуру и поведение своей модели. [s1](#src-s1)

На Mac с установленной версией 26.10.1 и уже полученным совместимым GGUF можно начать с локальной привязки адреса, чтобы не открывать сервер всей сети: `mlx-serve --model /path/to/compatible-model.gguf --serve --host 127.0.0.1 --mlx-gguf`. Замените путь реальным файлом и проверьте поддержку архитектуры.

Путь, доступность исходных весов и права на конкретную GGUF-модель проверяются отдельно: MIT-лицензия MLX-Serve не лицензирует чужие веса. Команду Modelium не выполнял на Apple Silicon; это путь из документации CLI и релизных заметок, а не собственный тест совместимости. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

## Почему Kev перестал быть только экспериментальным пакетом

Веса `aselea/Kev-4B-MLX-Serve-8bit` были доступны ещё **28 сентября**, но без публичной стабильной версии MLX-Serve с нужной поддержкой их нельзя было рекомендовать как готовый сценарий. В теге 26.10.1 уже есть реализация `src/kev.zig`, конвертер `tests/convert_kev_weights.py` и сценарий `tests/test_kev_decisions.sh`; PR #603 объединён в исходный репозиторий. Это подтверждает наличие опубликованного пути исполнения, **не результат самостоятельного запуска или теста Modelium**. [s1](#src-s1) [s4](#src-s4) [s5](#src-s5) [s6](#src-s6)

Kev отвечает на типизированные вопросы к входному состоянию — выбор, оценка, бинарное решение — через `POST /v1/decisions`, а не генерирует произвольный текст в чат-интерфейсе. Если нужен локальный классификатор обращений или маршрутизатор правил, используйте пакет Kev, смотрите фактически обнаруженный ID через `/v1/models` и вызывайте именно endpoint решений. В репозиторном сценарии сервер запускается с `--model-dir`; запросы сравниваются с фикстурами MLX-backend автора с допуском 0,01. Наличие сценария и фикстур не означает, что мы их исполнили на реальном Mac. [s1](#src-s1) [s4](#src-s4) [s6](#src-s6)

Карточка пакета, исходной Kev-4B и её базы Qwen3.5-4B-Base указывают Apache-2.0; лицензия самого MLX-Serve — MIT. Доступные файлы пакета включают `model.safetensors`, отдельную голову `kev_head.safetensors`, конфигурацию и токенизатор. Это доступные веса и исходный код runtime, но ни метки лицензий, ни опубликованный тест не заменяют проверку собственных требований к использованию и измерение точности на ваших данных. [s3](#src-s3) [s4](#src-s4) [s7](#src-s7) [s8](#src-s8)

## Цифры производительности: только в условиях автора

В релизе сравниваются 26.10.1 и поставляемый 26.9.6 в одной сессии с чередованием прогонов, инструментом llmprobe и набором из 18 моделей. В отдельных конфигурациях автор сообщает до **+66%** для скорости декодирования Qwen3.8 27B 4-bit с drafter на M5 Ultra и до **+51%** для prefill Qwen3.8 Flash Next на том же чипе. Это разные операции и разные строки таблицы, а не единый результат для всех устройств. Для Qwen3.6 35B-A3B на M4 Max таблица даже показывает −2% decode; автор предупреждает, что малые различия могут быть шумом. Modelium эти измерения не повторял. [s1](#src-s1)

**Что делать:** обновление имеет смысл прежде всего для Mac-пользователей, которым нужен MLX-путь для перечисленных GGUF, типизированные ответы Kev или исправления длительных агентных сессий. Сохраните прежний рабочий профиль и протестируйте конкретный файл и нагрузку до переключения. Для других GGUF ожидайте старый движок, а объём файла весов не считайте требованием к памяти. [s1](#src-s1) [s2](#src-s2)

## Источники

1. [ddalcu/mlx-serve — release v26.10.1](https://github.com/ddalcu/mlx-serve/releases/tag/v26.10.1) — получено 2026-10-02
2. [MLX-Serve v26.10.1 — документация CLI](https://github.com/ddalcu/mlx-serve/blob/v26.10.1/docs/cli.md) — получено 2026-10-02
3. [MLX-Serve v26.10.1 — LICENSE](https://github.com/ddalcu/mlx-serve/blob/v26.10.1/LICENSE) — получено 2026-10-02
4. [aselea/Kev-4B-MLX-Serve-8bit — карточка и файлы, закреплённая ревизия](https://huggingface.co/aselea/Kev-4B-MLX-Serve-8bit/tree/2fd4aab21005e4e88e065b964a03e9bf69195bfd) — получено 2026-10-02
5. [ddalcu/mlx-serve — объединённый PR #603](https://github.com/ddalcu/mlx-serve/pull/603) — получено 2026-10-02
6. [MLX-Serve v26.10.1 — Kev integration test](https://github.com/ddalcu/mlx-serve/blob/v26.10.1/tests/test_kev_decisions.sh) — получено 2026-10-02
7. [jaredpalmer/kev-4b — карточка исходных весов](https://huggingface.co/jaredpalmer/kev-4b) — получено 2026-10-02
8. [Qwen/Qwen3.5-4B-Base — карточка базовой модели](https://huggingface.co/Qwen/Qwen3.5-4B-Base) — получено 2026-10-02