gmlx 0.4.19: OpenJev в локальном API и MTP для Qwen3.8-Flash-Next на Mac
На странице · 2 разделов
27 сентября 2026 года вышел gmlx 0.4.19 для Apple Silicon. В отличие от 0.4.18, локальный /v1/systemone теперь принимает OpenJev и другие текстовые модели, а gmlx run/chat автоматически находят совместимые MTP-файлы для Qwen3.8-Flash-Next. Исправлены сбои KV-кэша для Kimi K2/K3 и GLM-5.3. Это обновление движка, не выпуск весов; для OpenJev исходная лицензия CC BY-NC 4.0 ограничивает коммерческое использование, несмотря на Apache-метку у GGUF-конверсии. Проверка запуска Modelium не проводилась.
gmlx 0.4.19: OpenJev и MTP для локальных моделей на Mac
27 сентября 2026 года опубликован стабильный gmlx 0.4.19: релиз GitHub не помечен prerelease, а PyPI содержит wheel и архив этой версии. Это выпуск программы для локального запуска на Apple Silicon, а не новых модельных весов. Он расширяет возможности gmlx 0.4.18, где API структурированных решений работал с DiffusionGemma. s1 s2
Что меняется в работе
POST /v1/systemone и gmlx systemone теперь принимают OpenJev и другие текстовые модели: сервис задаёт модели вопросы с перечисленными ответами и возвращает вероятности по каждому варианту вместо разбора свободного текста. Это позволяет локально направлять обращения в нужную очередь или выбирать действие агента. С DiffusionGemma по-прежнему используется отдельный путь чтения; OpenJev отвечает через буквенные варианты. Для моделей, не обученных на этом формате, вероятности могут быть плохо откалиброваны — проверяйте решения на собственных размеченных примерах, не превращайте оценку уверенности в факт. Документация автора предпочитает OpenJev, когда важнее точность, а DiffusionGemma — для множества зависимых вопросов; это авторские оценки, не тест Modelium. s1 s3
Вторая перемена — поддержка MTP-драфтеров в формате llama.cpp для Qwen3.8-Flash-Next. gmlx run и gmlx chat сами включают speculative decoding, когда находят совместимый файл рядом с моделью или в каталоге MTP внутри либо рядом с её папкой. Официально описано ограничение: режим не включается при --stream-experts, --stream-cpu и некоторых lossy-настройках; для мультимодальной модели черновик ускоряет текстовые ходы, но не ходы с изображением/аудио. В репозитории Unsloth действительно есть MTP/mtp-Qwen3.8-Flash-Next-Q4_K_M.gguf и другие варианты. Совместимость пар и выигрыш в скорости проверяйте на своей системе; Modelium запуск не измерял. s1 s4 s5
В версии также исправлен первый токен при --kv-bits на GLM-5.3; для Kimi K2/K3, внимание которых не читает квантованный KV-кэш, gmlx оставляет fp16. gmlx launch теперь передаёт ключ уже работающему серверу. По заявлению автора, обновлённая зависимость mlx-kquant>=0.4.15 ускоряет декодирование Gemma 4 и устойчивую нагрузку Q6_K; общедоступных замеров для вашей конфигурации это не заменяет. s1 s6 s7
Как попробовать без подмены лицензий и требований
Автор указывает Apple Silicon Mac, macOS 26.2+ и Python 3.11+ для установки через uv/pip; на Intel Mac и Linux этот движок не работает. Если uv уже установлен, команда для версии статьи: uv tool install 'gmlx==0.4.19'. Она устанавливает программу, но не скачивает модель. Для пути решений самостоятельно получите совместимый GGUF, укажите его в конфигурации models:, затем задайте server.systemone.model и запустите gmlx serve --config decisions.yaml; формат запроса state + questions приведён в руководстве автора. Для OpenJev у вопроса поле instructions обязательно. Для MTP сначала проверьте основной GGUF и соответствующий ему файл-драфтер, расположите их по схеме каталога из документации, затем сравните gmlx run model.gguf с отключением --no-mtp на своих запросах. s3 s4 s8
Лицензии важны отдельно. Сам gmlx распространяется по Business Source License 1.1 с дополнительным разрешением на собственную производственную, в том числе профессиональную работу, но лицензия запрещает продажу производных, включение в коммерческое ПО/сервис и предоставление как hosted-сервиса третьим лицам без отдельного соглашения. У исходного OpenJev веса под CC BY-NC 4.0; при этом GGUF-репозиторий openjev/openjev-GGUF помечен Apache-2.0. Метку конверсии нельзя принимать за доказательство снятия ограничений исходных весов: для коммерческого сценария не используйте OpenJev без прояснения прав у правообладателя. Лицензию выбранного Qwen-чекпойнта и драфтера тоже проверяйте отдельно. s9 s10 s11
Кому полезно: владельцам Mac, которые уже работают с локальными GGUF и хотят добавить типизированные решения без облачного API либо проверить speculative decoding на Qwen3.8-Flash-Next. Для остальных семейство изменений полезнее как список совместимостей и исправлений, а не обещание конкретной скорости или минимального объёма памяти. s1 s3
Источники
- asher/gmlx: релиз v0.4.19. Получено 27.09.2026.
- PyPI: gmlx 0.4.19. Получено 27.09.2026.
- gmlx 0.4.19: структурированные решения. Получено 27.09.2026.
- gmlx 0.4.19: speculative decoding и поиск MTP. Получено 27.09.2026.
- Unsloth: файлы MTP Qwen3.8-Flash-Next. Получено 27.09.2026.
- gmlx v0.4.19: KV-кэш по архитектурам. Получено 27.09.2026.
- gmlx 0.4.19: зависимости пакета. Получено 27.09.2026.
- gmlx v0.4.19: установка и требования. Получено 27.09.2026.
- gmlx v0.4.19: BSL 1.1 и дополнительное разрешение. Получено 27.09.2026.
- OpenJev: лицензия исходных весов. Получено 27.09.2026.
- OpenJev GGUF: карточка и метка Apache-2.0. Получено 27.09.2026.