MLX-Serve 26.9.6: локальные агенты на Mac видят всю историю изображений

Что изменилось для локальных сценариев

• Мультимодальные диалоги. Ранние изображения и изображения, возвращённые инструментами, больше не теряются в последующих ходах. Исправления отдельно затрагивают чаты приложения, агентов и обработку LFM2-VL; текстовая модель при получении изображения от инструмента сообщает агенту, что не может его увидеть. Это исправление маршрутизации контекста, не новая способность весов. s1
• Qwen3.8 в длинных агентных сессиях. Ранее сгенерированный ход рассуждения по умолчанию не воспроизводится заново в промпте. По словам разработчика, длинные сессии используют примерно вдвое меньше контекста; при новом пользовательском указании возможна короткая пауза. Прежнее поведение можно вернуть параметром chat_template_kwargs: {"preserve_thinking": true}. Установленные в запросе chat_template_kwargs, включая enable_thinking: false, теперь учитываются. Это заявления релизных заметок, а не измерения Modelium. s1
• Решения Laya. Новый POST /v1/decisions принимает состояние и вопросы типов score, choice и бинарного ответа (noul в схеме API) и возвращает структурированные ответы модели Laya. Несколько одновременных запросов можно объединять в проходе модели. Документация API описывает лимиты: до 64 вопросов, 32 768 входных токенов и 4 МБ тела запроса; схемы и значения полей надо сверять с текущей документацией, а не заменять endpoint обычным chat completion. Рекомендованный в релизе чекпойнт aac6fef/laya-multilingual-mlx содержит файл model.safetensors, опубликован отдельно и помечен Apache-2.0. s1s2s4
• Рабочие исправления. Повторный однотокенный промпт больше не должен ронять /v1/completions; стоп-строка внутри reasoning не должна преждевременно обрывать ответ. Загрузка после исправления повреждённых файлов модели возможна без перезапуска сервера. Улучшены кеширование длинных сессий и загрузка зависимостей Kokoro/Qwen3-TTS через mlx-serve pull. s1

Что известно об ускорении

Разработчик описывает ускорения GDN и MoE, lookup-драфты для повторяющегося текста и отдельные замеры Qwen3.8 Flash Next на M5 Ultra при смешанной 4–8-битной конфигурации с --mtp и промптом 8K. В релизном тексте заголовочные и детальные пиковые числа различаются: в заголовке указано до примерно 243–300+ токенов/с, а в описании конкретного режима — 219 токенов/с при декодировании, 227 токенов/с в четырёх потоках и 3150 токенов/с на prefill. Эти показатели нельзя смешивать в одно сопоставимое измерение или переносить на любой Mac. Независимую проверку производительности Modelium не проводил. s1

Как попробовать и какие ограничения проверить

На Mac с Apple Silicon можно скачать DMG либо arm64-архив из релиза. Документация показывает mlx-serve pull <модель> для загрузки и mlx-serve serve для запуска сервера с подгрузкой моделей по имени. Для Laya нужен именно совместимый MLX-чекпойнт и формат /v1/decisions; для мультимодального сценария — модель, принимающая изображения. Выбор модели и лицензии её весов проверяйте отдельно: MIT-лицензия собственного кода MLX-Serve не распространяется автоматически на сторонние модели. В LICENSE проекта оговорены отдельные условия сторонних компонентов; для упомянутой Laya её собственный репозиторий указывает Apache-2.0. Размеров файлов и авторского тестового Mac недостаточно, чтобы вывести минимальный объём памяти устройства. s1s2s3s4