Clef-Flash 4-bit для MLX: локальные решения на Apple Silicon

Clef-Flash 4-bit для MLX: локальные решения на Apple Silicon

1 октября 2026 года в mlx-community появилась отдельная 4-битная конверсия Cloudflare Clef-Flash для MLX. Это не новая базовая модель, а пакет для запуска уже выпущенной модели на Apple Silicon: он сохраняет отдельную голову типизированных решений и включает собственный загрузчик clef_mlx.py. Cloudflare-веса и общий принцип Clef мы разобрали отдельно; здесь важна именно новая локальная конфигурация. s1 s4

Что входит в пакет

В закреплённой ревизии 7cec35c6 индекс весов указывает на оба опубликованных шарда model-00001-of-00002.safetensors и model-00002-of-00002.safetensors; они есть в манифесте HF. Отдельно лежит joint_head.safetensors и её конфигурация. config.json указывает аффинное квантование основного блока до 4 бит с группой 64. По описанию конверсии, визуальный блок оставлен в bf16, а голова схем не квантована. Это размеры и формат артефактов, не оценка минимальной RAM или unified memory. s1 s2

Карточка и файл LICENSE помечают пакет Apache-2.0; исходный Clef-Flash Cloudflare также опубликован с этой лицензией. Веса доступны для локального использования, а коммерческие права определяются условиями лицензии; это не обещание бесплатного хостинга или проверенной совместимости со всеми приложениями. s1 s4

Как оценивать локально

Для своего набора размеченных заявок или документов сначала загрузите весь HF snapshot на Mac с Apple Silicon, затем установите mlx-vlm и huggingface_hub, как предлагает карточка. Указанный там пример вызывает clef_mlx.load(path) и model.systemone(...): в запросе передаются state и questions с типами choice, score или noul, а на выходе — вероятности по вариантам. Для изображений и видео загрузчик использует путь mlx-vlm; код также предусматривает текстовый путь через mlx-lm. Это инструкция автора пакета, а не результат запуска Modelium. Закрепите ревизию 7cec35c6ddd2cc6a18f1644399c361024ec7b863 при скачивании, чтобы не смешать веса и загрузчик из разных состояний репозитория. s1 s3

Обычные mlx_vlm.generate, mlx_lm.generate и чат-интерфейс LM Studio не подменяют этот путь: они могут загрузить основной блок, но не реализуют нужную голову решений. Сам systemone — функция в Python, а не автоматически поднятый HTTP-сервер. В коде её значение max_length по умолчанию равно 16 384; не переносите заявленное исходной моделью контекстное окно на этот пример без настройки и собственных испытаний. s1 s3 s4

Насколько проверена конверсия

Автор сообщает совпадение лучшего ответа с исходной BF16-реализацией в 10 из 10 проверенных текстовых вопросов и 9 из 9 вопросов с изображениями/видео; максимальные расхождения вероятности в этой небольшой выборке — 0,029 и 0,119 соответственно. Проверка выполнена автором на M5 Max с 128 ГБ памяти: это не минимальная аппаратная конфигурация и не независимый бенчмарк качества или скорости. Для автоматической маршрутизации сравнивайте вероятности и ошибки на собственных размеченных случаях, особенно на пограничных решениях, перед тем как давать модели право действовать. s1

Практический выбор: для типизированных локальных решений на Apple Silicon появился пакет с полным набором двух шардов и головой; если нужен обычный свободный текст или проверенная интеграция с чат-приложением, этот формат не подходит. s1 s3