Перейти к содержанию
modelium.
Начать с задачи
←
Новость

Rapid-MLX 0.15.6: PFlash отключён по умолчанию, KV-кеш освобождается после запроса

На странице · 3 разделов

Rapid-MLX 0.15.6 — стабильное обновление среды локального запуска моделей на Apple Silicon от 4 октября 2026 года. Сжатие промпта PFlash теперь отключено по умолчанию для всех алиасов и требует явного включения; после одиночного запроса сервер освобождает KV-состояние. Появился интерактивный старт без аргументов и поддержка моделей принятия решений Clef в отдельном System One runtime. Это релиз программы, а не новых весов.

Rapid-MLX 0.15.6: предсказуемее промпты и память локального сервера

4 октября 2026 года разработчики выпустили стабильный Rapid-MLX 0.15.6; одноимённый пакет версии 0.15.6 появился в PyPI в тот же день. Обновление касается программы для локального запуска на Apple Silicon, а не выпуска новых модельных весов. Код Rapid-MLX в закреплённом теге распространяется под Apache-2.0; лицензии загружаемых моделей от этого не меняются. s1 s2 s3

Что изменится на практике

  • Промпт не сжимается молча. PFlash отключён по умолчанию для каждого алиаса. Для сжатия его нужно включить явно через --pflash auto или --pflash always. Когда запрос всё же сжат, поддерживаемые API сообщают число исходных и оставленных токенов в метаданных ответа или заголовке. Это позволяет отличить изменение входа от обычной экономии времени; универсального обещания сохранения качества после сжатия нет. s1 s4
  • Сервер лучше освобождает память между задачами. После завершения одиночного запроса освобождается его KV-состояние. Когда сервер простаивает, он повторно измеряет освобождённую память перед отклонением нового запроса у предела Metal. Это исправление учёта и жизненного цикла кеша, а не гарантированное уменьшение потребления памяти для любой модели или конфигурации Mac. s1 s5
  • Проще начать без запоминания подкоманд. Запуск rapid-mlx без аргументов открывает интерактивное меню: можно выбрать чат, сервер, модель или подключение обнаруженного агента. Действие требует подтверждения клавишей; для скриптов по-прежнему нужен явный неинтерактивный вызов. s1 s6
  • Clef — отдельный режим. Служба rapid-mlx system-one получила поддержку Clef и Clef-Flash для текстовых решений, ранжирования, изображений с ограниченным размером и видео из кадров. Дополнительный runtime устанавливается отдельно от базового пакета; сам Rapid-MLX не поставляет веса Clef и не превращает обычную генеративную модель в модель решений. Авторы PR сообщают о собственных проверках обоих чекпойнтов на M3 Ultra, но Modelium эти тесты не повторял и не считает использованную машину минимальным требованием. Лицензию весов следует проверять у издателя модели. s1 s7

Обновление и контроль

Авторы предлагают pip install -U rapid-mlx==0.15.6, brew upgrade rapid-mlx для установки через Homebrew или встроенную команду rapid-mlx upgrade. PyPI подтверждает пакет 0.15.6 и Python от 3.10; MLX требует совместимой системы Apple Silicon. После обновления проверьте rapid-mlx --help, затем выбор модели и результат на собственном контрольном запросе. Если сценарий зависит от PFlash, задайте режим явно и сравните ответ с несжатым входом. Для постоянно работающего сервера отдельно наблюдайте поведение после последовательных запросов вместо того, чтобы переносить авторские замеры на своё устройство. s1 s2

Ограничения

Релиз также исправляет работу с общим Hugging Face blob-кешем и настройку локальных агентов, но не обещает совместимость с любым чужим чекпойнтом или воспроизводимость показателей Clef на другом железе. Для конкретной модели проверьте формат весов, поддержку её архитектуры и отдельные права использования. s1

Источники