MLX-Serve 26.10.1: GGUF в MLX-движке и поддержка Kev на Mac

Что меняется при запуске GGUF

Разработчик перечисляет Qwen 3.5, 3.6 и 3.8 — плотные модели и MoE — и Gemma 4 как поддерживаемые семейства нового пути. Для них включение --mlx-gguf или переключателя Settings → Engines направляет чтение GGUF-тензоров в реализацию Zig/Metal. Тогда становятся доступны механизмы MLX-пути, включая prefix cache, batching, speculative decoding и обработку вызовов инструментов. Это не общее обещание поддержки любого GGUF: прочие семейства остаются на прежнем встроенном движке. Режим опционален; сверяйте конкретную архитектуру и поведение своей модели. s1

На Mac с установленной версией 26.10.1 и уже полученным совместимым GGUF можно начать с локальной привязки адреса, чтобы не открывать сервер всей сети: mlx-serve --model /path/to/compatible-model.gguf --serve --host 127.0.0.1 --mlx-gguf. Замените путь реальным файлом и проверьте поддержку архитектуры.

Путь, доступность исходных весов и права на конкретную GGUF-модель проверяются отдельно: MIT-лицензия MLX-Serve не лицензирует чужие веса. Команду Modelium не выполнял на Apple Silicon; это путь из документации CLI и релизных заметок, а не собственный тест совместимости. s1 s2 s3

Почему Kev перестал быть только экспериментальным пакетом

Веса aselea/Kev-4B-MLX-Serve-8bit были доступны ещё 28 сентября, но без публичной стабильной версии MLX-Serve с нужной поддержкой их нельзя было рекомендовать как готовый сценарий. В теге 26.10.1 уже есть реализация src/kev.zig, конвертер tests/convert_kev_weights.py и сценарий tests/test_kev_decisions.sh; PR #603 объединён в исходный репозиторий. Это подтверждает наличие опубликованного пути исполнения, не результат самостоятельного запуска или теста Modelium. s1 s4 s5 s6

Kev отвечает на типизированные вопросы к входному состоянию — выбор, оценка, бинарное решение — через POST /v1/decisions, а не генерирует произвольный текст в чат-интерфейсе. Если нужен локальный классификатор обращений или маршрутизатор правил, используйте пакет Kev, смотрите фактически обнаруженный ID через /v1/models и вызывайте именно endpoint решений. В репозиторном сценарии сервер запускается с --model-dir; запросы сравниваются с фикстурами MLX-backend автора с допуском 0,01. Наличие сценария и фикстур не означает, что мы их исполнили на реальном Mac. s1 s4 s6

Карточка пакета, исходной Kev-4B и её базы Qwen3.5-4B-Base указывают Apache-2.0; лицензия самого MLX-Serve — MIT. Доступные файлы пакета включают model.safetensors, отдельную голову kev_head.safetensors, конфигурацию и токенизатор. Это доступные веса и исходный код runtime, но ни метки лицензий, ни опубликованный тест не заменяют проверку собственных требований к использованию и измерение точности на ваших данных. s3 s4 s7 s8

Цифры производительности: только в условиях автора

В релизе сравниваются 26.10.1 и поставляемый 26.9.6 в одной сессии с чередованием прогонов, инструментом llmprobe и набором из 18 моделей. В отдельных конфигурациях автор сообщает до +66% для скорости декодирования Qwen3.8 27B 4-bit с drafter на M5 Ultra и до +51% для prefill Qwen3.8 Flash Next на том же чипе. Это разные операции и разные строки таблицы, а не единый результат для всех устройств. Для Qwen3.6 35B-A3B на M4 Max таблица даже показывает −2% decode; автор предупреждает, что малые различия могут быть шумом. Modelium эти измерения не повторял. s1

Что делать: обновление имеет смысл прежде всего для Mac-пользователей, которым нужен MLX-путь для перечисленных GGUF, типизированные ответы Kev или исправления длительных агентных сессий. Сохраните прежний рабочий профиль и протестируйте конкретный файл и нагрузку до переключения. Для других GGUF ожидайте старый движок, а объём файла весов не считайте требованием к памяти. s1 s2