Clef 27B в MLX 4-bit: локальные решения на Apple Silicon

Clef 27B в MLX 4-bit: локальные решения на Apple Silicon

1 октября 2026 года в mlx-community появился 4-битный MLX-пакет полной версии Clef 27B. Это конверсия ранее выпущенной модели Cloudflare, а не новая базовая модель. В отличие от уже описанного пакета Clef-Flash, здесь сконвертирована именно полная Clef: пользователь может локально сравнивать эти варианты на собственных задачах типизированной классификации, но не должен переносить результаты Cloudflare для исходных весов на квантованную версию без своей проверки. s1 s4

Что входит в пакет

Закреплённая ревизия e0a23bd4 содержит три файла model-00001-of-00003.safetensors — model-00003-of-00003.safetensors, и все три перечислены в model.safetensors.index.json. Отдельно доступны joint_head.safetensors, конфигурация головы, процессор и исходный код clef_mlx.py. Конфигурация указывает аффинную 4-битную квантизацию с группой 64; по карточке конверсии визуальный блок сохранён в bf16, а голова решений не изменена. Это описание артефактов, не требование к RAM или unified memory. s1 s2

Карточка и файл LICENSE указывают Apache-2.0; лицензия побайтно совпадает с файлом исходной модели Cloudflare. Веса открыты для локальной загрузки, а возможность коммерческого использования следует оценивать по условиям лицензии и зависимостей, не путать с бесплатным облачным сервисом. s1 s4

Путь к локальной проверке

Автор предлагает установить mlx-vlm и huggingface_hub, скачать полный snapshot mlx-community/clef-4bit и загрузить каталог через clef_mlx.load(path). Затем model.systemone(...) получает state и схему questions с типами choice, score или noul и возвращает оценки вариантов. Исходный код автоматически выбирает путь mlx-vlm при наличии визуальных весов; индекс этой ревизии содержит vision_tower. Можно передавать изображения и видеокадры через описанный карточкой интерфейс, но сам Modelium запуск на Mac не проводил. Для рабочей интеграции закрепите ревизию и версии библиотек, проверьте результат на собственных эталонных примерах и измерьте расход памяти на целевом устройстве. s1 s2 s3

Обычная генерация текста в mlx_lm.generate, mlx_vlm.generate или LM Studio не заменяет работу головы решений: карточка прямо предупреждает, что загруженный таким способом backbone выдаст бессмысленный текст. Используйте приложенный загрузчик, а не трактуйте пакет как чат-модель. s1

Что известно о точности

Автор сравнил верхний выбранный вариант с официальной PyTorch-реализацией bf16: 10 из 10 текстовых вопросов по четырём записям и 9 из 9 мультимодальных вопросов по пяти записям совпали; максимальные абсолютные отклонения вероятности составили соответственно 0,037 и 0,097. Это авторская небольшая spot-check проверка на M5 Max с 128 GB, а не независимое воспроизведение или доказательство равного качества на полном наборе. Конфигурация тестовой машины не является минимальным требованием. s1

Практический следующий шаг — взять собственный набор размеченных решений, сравнить полную Clef и Clef-Flash по качеству и времени ответа на одной машине, а затем выбрать вариант с приемлемым компромиссом. Оригинальный выпуск Clef даёт контекст назначения моделей; его авторские бенчмарки относятся к исходным моделям, не к этой конверсии. s1 s4