gmlx 0.4.18: локальные решения через DiffusionGemma и исправления для Gemma 4

Что нового для локального применения

POST /v1/systemone принимает текстовое состояние и набор вопросов с заранее заданными вариантами ответа. С DiffusionGemma GGUF маршрут возвращает распределение вероятностей по вариантам: например, можно направлять обращение в нужную команду или выбирать следующий инструмент агента без разбора свободного текста. Поддержаны вопросы «да/нет» (noul), выбор из вариантов (choice) и упорядоченная шкала (score). Это не обычный чат: для открытого письменного ответа используйте chat completions. Доступны также /systemone и клиентская команда gmlx systemone. s1 s3

Ограничение модели: endpoint работает только с DiffusionGemma, а не с любой GGUF. В документации gmlx назван конкретный существующий чекпойнт unsloth/diffusiongemma-26B-A4B-it-GGUF; в его репозитории есть файл diffusiongemma-26B-A4B-it-Q4_K_M.gguf. Лицензию и условия использования выбранных весов проверяйте отдельно от лицензии движка. s3 s4

Пример минимальной конфигурации из документации автора после самостоятельной загрузки подходящего файла в ~/models/:

models:
dgemma:
path: ~/models/diffusiongemma-26B-A4B-it-Q4_K_M.gguf
server:
systemone:
model: dgemma

Запуск: gmlx serve --config decisions.yaml, где YAML выше сохранён в decisions.yaml. Затем отправьте JSON с state и questions на локальный /v1/systemone. Полный запрос со схемой choice, score и noul приведён в официальном руководстве. Не выдавайте вероятность модели за проверенную калибровку: автор предупреждает, что даже уверенный ответ может быть неверным. Сначала проверьте пороги на собственных размеченных примерах и передавайте критичные или нетипичные решения человеку; `think: "auto" запускает дополнительное рассуждение при неопределённости, но не гарантирует правильность. s3

Обновления генерации и эксплуатации

• Исправлена генерация при одновременных запросах к Gemma 4 с draft-моделью: прежде результат мог отличаться от одиночного запроса из-за неправильных токенов. Исправлены также стоп-токены Gemma 4 и Gemma 1.1. Это сообщения разработчика об исправлениях; независимого испытания у Modelium нет. s1
• Ускорены некоторые пути speculative decoding с MTP и DFlash 2. Автор приводит 19% для Gemma 4 E2B и 5% для 31B с промптом на 30 тысяч токенов в конкретном сравнении. Это не универсальное ускорение всех моделей, устройств и нагрузок; для своего стека сравните длительную работу на одинаковых файлах и контексте. s1 s5
• Сервер без заданного ограничения длины ответа больше не обрезает выдачу по умолчанию на 2048 токенах: генерация продолжается до остановки модели или заполнения контекста. Настройки gmlx serve --max-tokens и профиля max_tokens по-прежнему ограничивают вывод. Учитывайте это при обновлении агентских клиентов. s1

Установка и права

Официальная инструкция требует Mac с Apple Silicon и macOS 26.2 или новее; Intel Mac и Linux не поддерживаются. Варианты установки — Homebrew (brew install asher/gmlx/gmlx) либо изолированная установка через uv/pip. Подтверждённый пакет 0.4.18 требует mlx-kquant>=0.4.14,<0.5. Размер файла весов не равен минимальной необходимой памяти: проверяйте вместимость модели и её контекста на конкретном устройстве. s2 s6 s7

Исходный код gmlx не полностью под открытой лицензией: основная часть использует Business Source License 1.1; исключения по файлам имеют MIT, включённые сторонние компоненты — также Apache 2.0. Лицензия разрешает внутреннее производственное использование, в том числе оплачиваемую работу, но запрещает, среди прочего, включать программу в коммерческий продукт или предоставлять её как сторонний hosted/managed/cloud-сервис без отдельного разрешения. Условия скачанных моделей независимы от лицензии gmlx. s7 s8

Выбор: если нужен локальный маршрутизатор решений с фиксированными вариантами и можно использовать DiffusionGemma на поддерживаемом Mac, проверьте /v1/systemone на собственном наборе обращений. Если нужны обычные текстовые ответы, используйте чат; перед обновлением рабочего сервера отдельно проверьте поведение лимитов вывода и одновременные запросы с draft-моделью. s1 s3