# gmlx 0.4.19: OpenJev в локальном API и MTP для Qwen3.8-Flash-Next на Mac

Источник: https://modelium.tech/zhurnal/gmlx-0-4-19-openjev-mtp-qwen38-flash-next/

27 сентября 2026 года вышел gmlx 0.4.19 для Apple Silicon. В отличие от 0.4.18, локальный /v1/systemone теперь принимает OpenJev и другие текстовые модели, а gmlx run/chat автоматически находят совместимые MTP-файлы для Qwen3.8-Flash-Next. Исправлены сбои KV-кэша для Kimi K2/K3 и GLM-5.3. Это обновление движка, не выпуск весов; для OpenJev исходная лицензия CC BY-NC 4.0 ограничивает коммерческое использование, несмотря на Apache-метку у GGUF-конверсии. Проверка запуска Modelium не проводилась.

gmlx 0.4.19: OpenJev и MTP для локальных моделей на Mac

**27 сентября 2026 года** опубликован стабильный gmlx 0.4.19: релиз GitHub не помечен prerelease, а PyPI содержит wheel и архив этой версии. Это выпуск программы для локального запуска на Apple Silicon, а не новых модельных весов. Он расширяет возможности [gmlx 0.4.18](https://modelium.tech/zhurnal/gmlx-0-4-18-diffusiongemma-systemone-local-decisions/), где API структурированных решений работал с DiffusionGemma. [s1](#src-s1) [s2](#src-s2)

## Что меняется в работе

`POST /v1/systemone` и `gmlx systemone` теперь принимают **OpenJev** и другие текстовые модели: сервис задаёт модели вопросы с перечисленными ответами и возвращает вероятности по каждому варианту вместо разбора свободного текста. Это позволяет локально направлять обращения в нужную очередь или выбирать действие агента. С DiffusionGemma по-прежнему используется отдельный путь чтения; OpenJev отвечает через буквенные варианты. Для моделей, не обученных на этом формате, вероятности могут быть плохо откалиброваны — проверяйте решения на собственных размеченных примерах, не превращайте оценку уверенности в факт. Документация автора предпочитает OpenJev, когда важнее точность, а DiffusionGemma — для множества зависимых вопросов; это авторские оценки, не тест Modelium. [s1](#src-s1) [s3](#src-s3)

Вторая перемена — поддержка MTP-драфтеров в формате llama.cpp для **Qwen3.8-Flash-Next**. `gmlx run` и `gmlx chat` сами включают speculative decoding, когда находят совместимый файл рядом с моделью или в каталоге `MTP` внутри либо рядом с её папкой. Официально описано ограничение: режим не включается при `--stream-experts`, `--stream-cpu` и некоторых lossy-настройках; для мультимодальной модели черновик ускоряет текстовые ходы, но не ходы с изображением/аудио. В репозитории Unsloth действительно есть `MTP/mtp-Qwen3.8-Flash-Next-Q4_K_M.gguf` и другие варианты. Совместимость пар и выигрыш в скорости проверяйте на своей системе; Modelium запуск не измерял. [s1](#src-s1) [s4](#src-s4) [s5](#src-s5)

В версии также исправлен первый токен при `--kv-bits` на GLM-5.3; для Kimi K2/K3, внимание которых не читает квантованный KV-кэш, gmlx оставляет fp16. `gmlx launch` теперь передаёт ключ уже работающему серверу. По заявлению автора, обновлённая зависимость `mlx-kquant>=0.4.15` ускоряет декодирование Gemma 4 и устойчивую нагрузку Q6_K; общедоступных замеров для вашей конфигурации это не заменяет. [s1](#src-s1) [s6](#src-s6) [s7](#src-s7)

## Как попробовать без подмены лицензий и требований

Автор указывает Apple Silicon Mac, **macOS 26.2+** и Python 3.11+ для установки через uv/pip; на Intel Mac и Linux этот движок не работает. Если uv уже установлен, команда для версии статьи: `uv tool install 'gmlx==0.4.19'`. Она устанавливает программу, но **не скачивает модель**. Для пути решений самостоятельно получите совместимый GGUF, укажите его в конфигурации `models:`, затем задайте `server.systemone.model` и запустите `gmlx serve --config decisions.yaml`; формат запроса `state` + `questions` приведён в руководстве автора. Для OpenJev у вопроса поле `instructions` обязательно. Для MTP сначала проверьте основной GGUF и соответствующий ему файл-драфтер, расположите их по схеме каталога из документации, затем сравните `gmlx run model.gguf` с отключением `--no-mtp` на своих запросах. [s3](#src-s3) [s4](#src-s4) [s8](#src-s8)

**Лицензии важны отдельно.** Сам gmlx распространяется по Business Source License 1.1 с дополнительным разрешением на собственную производственную, в том числе профессиональную работу, но лицензия запрещает продажу производных, включение в коммерческое ПО/сервис и предоставление как hosted-сервиса третьим лицам без отдельного соглашения. У **исходного OpenJev** веса под CC BY-NC 4.0; при этом GGUF-репозиторий `openjev/openjev-GGUF` помечен Apache-2.0. Метку конверсии нельзя принимать за доказательство снятия ограничений исходных весов: для коммерческого сценария не используйте OpenJev без прояснения прав у правообладателя. Лицензию выбранного Qwen-чекпойнта и драфтера тоже проверяйте отдельно. [s9](#src-s9) [s10](#src-s10) [s11](#src-s11)

**Кому полезно:** владельцам Mac, которые уже работают с локальными GGUF и хотят добавить типизированные решения без облачного API либо проверить speculative decoding на Qwen3.8-Flash-Next. Для остальных семейство изменений полезнее как список совместимостей и исправлений, а не обещание конкретной скорости или минимального объёма памяти. [s1](#src-s1) [s3](#src-s3)

## Источники

1. [asher/gmlx: релиз v0.4.19](https://github.com/asher/gmlx/releases/tag/v0.4.19) — получено 2026-09-27
2. [PyPI: gmlx 0.4.19](https://pypi.org/project/gmlx/0.4.19/) — получено 2026-09-27
3. [gmlx 0.4.19: структурированные решения](https://github.com/asher/gmlx/blob/v0.4.19/docs/decisions.md) — получено 2026-09-27
4. [gmlx 0.4.19: speculative decoding и поиск MTP](https://github.com/asher/gmlx/blob/v0.4.19/docs/speculative-decoding.md) — получено 2026-09-27
5. [Unsloth: файлы MTP Qwen3.8-Flash-Next](https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF/tree/38bb39ee97821de2c9009abb7e93950eec396e66/MTP) — получено 2026-09-27
6. [gmlx v0.4.19: KV-кэш по архитектурам](https://github.com/asher/gmlx/blob/v0.4.19/docs/kv-quantization.md) — получено 2026-09-27
7. [gmlx 0.4.19: зависимости пакета](https://github.com/asher/gmlx/blob/v0.4.19/pyproject.toml) — получено 2026-09-27
8. [gmlx v0.4.19: установка и требования](https://github.com/asher/gmlx/blob/v0.4.19/docs/installation.md) — получено 2026-09-27
9. [gmlx v0.4.19: BSL 1.1 и дополнительное разрешение](https://github.com/asher/gmlx/blob/v0.4.19/LICENSE) — получено 2026-09-27
10. [OpenJev: лицензия исходных весов](https://huggingface.co/openjev/openjev/blob/0b6bb6e571bc7bcd6f1eb68de706f592f29c6483/LICENSE) — получено 2026-09-27
11. [OpenJev GGUF: карточка и метка Apache-2.0](https://huggingface.co/openjev/openjev-GGUF/blob/208220bc40401670015640fc7216b9a583515abc/README.md) — получено 2026-09-27