# Clef-Flash 4-bit для MLX: локальные решения на Apple Silicon

Источник: https://modelium.tech/zhurnal/clef-flash-mlx-4bit-apple-silicon-decisions/

Сообщество MLX выпустило 4-битную конверсию Clef-Flash с отдельной головой для типизированных решений. Она работает через собственный загрузчик clef_mlx.py, а не через обычный чат: модель оценивает варианты ответа на текстовые и мультимодальные вопросы. Сравнение точности пока ограничено небольшой авторской проверкой, а требования к памяти не опубликованы.

Clef-Flash 4-bit для MLX: локальные решения на Apple Silicon

1 октября 2026 года в `mlx-community` появилась отдельная 4-битная конверсия Cloudflare Clef-Flash для MLX. Это не новая базовая модель, а пакет для запуска уже выпущенной модели на Apple Silicon: он сохраняет отдельную голову типизированных решений и включает собственный загрузчик `clef_mlx.py`. Cloudflare-веса и общий принцип Clef мы [разобрали отдельно](/zhurnal/cloudflare-clef-flash-local-decision-models/); здесь важна именно новая локальная конфигурация. [s1](#src-s1) [s4](#src-s4)

## Что входит в пакет

В закреплённой ревизии `7cec35c6` индекс весов указывает на оба опубликованных шарда `model-00001-of-00002.safetensors` и `model-00002-of-00002.safetensors`; они есть в манифесте HF. Отдельно лежит `joint_head.safetensors` и её конфигурация. `config.json` указывает аффинное квантование основного блока до 4 бит с группой 64. По описанию конверсии, визуальный блок оставлен в bf16, а голова схем не квантована. Это размеры и формат артефактов, **не оценка минимальной RAM или unified memory**. [s1](#src-s1) [s2](#src-s2)

Карточка и файл `LICENSE` помечают пакет Apache-2.0; исходный Clef-Flash Cloudflare также опубликован с этой лицензией. Веса доступны для локального использования, а коммерческие права определяются условиями лицензии; это не обещание бесплатного хостинга или проверенной совместимости со всеми приложениями. [s1](#src-s1) [s4](#src-s4)

## Как оценивать локально

Для своего набора размеченных заявок или документов сначала загрузите **весь** HF snapshot на Mac с Apple Silicon, затем установите `mlx-vlm` и `huggingface_hub`, как предлагает карточка. Указанный там пример вызывает `clef_mlx.load(path)` и `model.systemone(...)`: в запросе передаются `state` и `questions` с типами `choice`, `score` или `noul`, а на выходе — вероятности по вариантам. Для изображений и видео загрузчик использует путь `mlx-vlm`; код также предусматривает текстовый путь через `mlx-lm`. Это инструкция автора пакета, а не результат запуска Modelium. Закрепите ревизию `7cec35c6ddd2cc6a18f1644399c361024ec7b863` при скачивании, чтобы не смешать веса и загрузчик из разных состояний репозитория. [s1](#src-s1) [s3](#src-s3)

Обычные `mlx_vlm.generate`, `mlx_lm.generate` и чат-интерфейс LM Studio не подменяют этот путь: они могут загрузить основной блок, но не реализуют нужную голову решений. Сам `systemone` — функция в Python, а не автоматически поднятый HTTP-сервер. В коде её значение `max_length` по умолчанию равно 16 384; не переносите заявленное исходной моделью контекстное окно на этот пример без настройки и собственных испытаний. [s1](#src-s1) [s3](#src-s3) [s4](#src-s4)

## Насколько проверена конверсия

Автор сообщает совпадение лучшего ответа с исходной BF16-реализацией в **10 из 10** проверенных текстовых вопросов и **9 из 9** вопросов с изображениями/видео; максимальные расхождения вероятности в этой небольшой выборке — 0,029 и 0,119 соответственно. Проверка выполнена автором на M5 Max с 128 ГБ памяти: это **не минимальная аппаратная конфигурация** и не независимый бенчмарк качества или скорости. Для автоматической маршрутизации сравнивайте вероятности и ошибки на собственных размеченных случаях, особенно на пограничных решениях, перед тем как давать модели право действовать. [s1](#src-s1)

Практический выбор: для типизированных локальных решений на Apple Silicon появился пакет с полным набором двух шардов и головой; если нужен обычный свободный текст или проверенная интеграция с чат-приложением, этот формат не подходит. [s1](#src-s1) [s3](#src-s3)

## Источники

1. [mlx-community: Clef-Flash 4-bit, закреплённая карточка и манифест](https://huggingface.co/mlx-community/clef-flash-4bit/tree/7cec35c6ddd2cc6a18f1644399c361024ec7b863) — получено 2026-10-02
2. [Индекс весов и конфигурация Clef-Flash 4-bit](https://huggingface.co/mlx-community/clef-flash-4bit/blob/7cec35c6ddd2cc6a18f1644399c361024ec7b863/model.safetensors.index.json) — получено 2026-10-02
3. [Исходный код MLX-загрузчика clef_mlx.py](https://huggingface.co/mlx-community/clef-flash-4bit/blob/7cec35c6ddd2cc6a18f1644399c361024ec7b863/clef_mlx.py) — получено 2026-10-02
4. [Cloudflare: исходный Clef-Flash](https://huggingface.co/Cloudflare/clef-flash/tree/17f0b0ad64efb65d273590632833508766b2aae6) — получено 2026-10-02