# CLM-v0.1-8B для MLX: 8- и 6-битный ранкер на Apple Silicon

Источник: https://modelium.tech/zhurnal/clm-v0-1-8b-mlx-8bit-6bit-apple-silicon/

Независимый автор czl выложил 27 сентября 2026 года MLX-конверсии энкодера CLM-v0.1-8B для Apple Silicon: варианты 8 и 6 бит вместе с сервером эмбеддингов и проекционными головами. В авторском сравнении с bf16 оба сохранили все уверенные решения на выбранной выборке, но 4-битный вариант заметно ухудшил ранжирование. Это локальный выбор из заданных действий, а не генерация текста или официальный релиз Contrastive-LM.

CLM-v0.1-8B для MLX: 8- и 6-битный ранкер на Apple Silicon

27 сентября 2026 года пользователь Hugging Face `czl` загрузил отдельные MLX-репозитории энкодера CLM-v0.1-8B с квантованием 8 и 6 бит; есть также bf16-эталон и экспериментальный 4-битный пакет. История коммитов подтверждает появление файлов весов 8/6 бит около 01:30 UTC. Это сторонняя конверсия уже выпущенного CLM, **не новая базовая модель и не официальный релиз команды Contrastive-LM**. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s4](#src-s4)

## Что теперь можно делать локально

CLM оценивает заранее заданные действия: например, какому инструменту поручить запрос или какой из готовых ответов поставить первым. Её исходные проекционные головы работают поверх эмбеддингов Qwen3-8B; сама модель не дописывает текст и не придумывает список кандидатов. Автор MLX-пакетов перенёс энкодер на Apple Silicon, положил веса и код `clm_mlx` в репозитории и предусмотрел сервер эмбеддингов с интерфейсом `/v1/embeddings` для существующего клиента CLM. Просто вызвать генерацию через `mlx_lm` вместо сервера эмбеддингов нельзя: нужны pooling последнего реального токена и согласованные с ним головы. [s1](#src-s1) [s3](#src-s3) [s5](#src-s5)

Если вы уже используете CLM как локальный роутер через vLLM, эти веса предлагают альтернативный энкодер для Mac. Репозитории доступны без ограничения доступа и включают Safetensors, конфигурации, токенизатор и код сервера. Фактический запуск на Mac редакция Modelium не проводила: наличие рецепта и файлов не равно нашей аппаратной проверке. [s1](#src-s1) [s2](#src-s2)

## Почему 8/6 бит, а не 4

По **оценке автора конверсии**, 8-битный вариант повторил top-1 решение bf16 в 98,88% из 23 926 вопросов; 6-битный — в 98,28%. В подвыборке из 7 440 решений, где отрыв лидера bf16 превышал 1 nat, оба совпали с эталоном в 7 440 случаях. Это проверка *согласия с bf16 того же энкодера и runtime*, а не независимое доказательство точности CLM на произвольных задачах. В той же авторской оценке 4-битный вариант дал только 61,86% общего согласия, 6 619 совпадений из 7 440 уверенных решений и падение accuracy планировщика T-Rex на 31,95 процентного пункта. Поэтому 4-битный пакет существует для воспроизводимости, но автор не рекомендует его для ранжирования. [s1](#src-s1) [s2](#src-s2) [s4](#src-s4) [s6](#src-s6)

Метрика отражает поведение с конкретными головами CLM и выбранным корпусом; она не сообщает скорость генерации, поскольку генерации здесь нет. Веса квантованы в affine-режиме с группой 32 — это видно в опубликованных `config.json` и `quantization.json`. При этом в текстовой карточке 8/6 бит пример команды конвертации по ошибке содержит `--q-group-size 128`; для определения параметров **опубликованных файлов** следует ориентироваться на их конфигурацию, а не копировать эту строку как воспроизводимый рецепт. [s7](#src-s7) [s8](#src-s8)

## Как устроен запуск

Автор описывает путь: загрузить один из репозиториев `czl/CLM-v0.1-8B-MLX-8bit` или `czl/CLM-v0.1-8B-MLX-6bit` вместе с его кодом, поднять `python -m clm_mlx.server --model <путь-к-скачанной-модели> --port 8092`, затем подключить `clm-serve --emb-url http://127.0.0.1:8092/v1/embeddings`. Второй процесс использует головы и интерфейс исходного CLM; это не универсальный OpenAI chat endpoint. Команды пересказаны из карточки, а не проверены редакцией на оборудовании. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s5](#src-s5)

Метаданные новых пакетов и вложенный LICENSE обозначают Apache 2.0. Исходные головы CLM и базовый Qwen3-8B тоже опубликованы под Apache 2.0; это позволяет рассматривать коммерческое применение при соблюдении условий лицензии, но не превращает стороннюю конверсию в официальный чекпойнт исходной команды. Не выводите требования к памяти Mac из числа бит или размера весовых файлов: в карточках нет проверенной минимальной конфигурации. [s1](#src-s1) [s3](#src-s3) [s5](#src-s5) [s9](#src-s9)

## Источники

1. [czl — CLM-v0.1-8B-MLX-8bit, карточка и состав файлов, ревизия b83a60d5](https://huggingface.co/czl/CLM-v0.1-8B-MLX-8bit/blob/b83a60d5d60b5f11995a3d267fa7d2bc9e5d0ecc/README.md) — получено 2026-09-27
2. [czl — CLM-v0.1-8B-MLX-6bit, карточка, ревизия 527e5bd4](https://huggingface.co/czl/CLM-v0.1-8B-MLX-6bit/blob/527e5bd496f3ee26db0230f97bcc5d4509700f63/README.md) — получено 2026-09-27
3. [Hugging Face — история коммитов новых MLX-весов 8 бит](https://huggingface.co/api/models/czl/CLM-v0.1-8B-MLX-8bit/commits/main) — получено 2026-09-27
4. [czl — CLM-v0.1-8B-MLX-4bit, ограничения и авторские сравнения](https://huggingface.co/czl/CLM-v0.1-8B-MLX-4bit/blob/d2cf040967ef0b37250c8e24b33fd75d89628d34/README.md) — получено 2026-09-27
5. [Contrastive-LM — исходная карточка CLM-v0.1-8B](https://huggingface.co/Contrastive-LM/CLM-v0.1-8B/blob/e939398d4556fcd9400c76fa8c5a513202f42b0a/README.md) — получено 2026-09-27
6. [czl — parity.json, авторские оценки квантованного энкодера](https://huggingface.co/czl/CLM-v0.1-8B-MLX-8bit/blob/b83a60d5d60b5f11995a3d267fa7d2bc9e5d0ecc/parity.json) — получено 2026-09-27
7. [czl — config.json MLX-8bit с quantization group_size=32](https://huggingface.co/czl/CLM-v0.1-8B-MLX-8bit/blob/b83a60d5d60b5f11995a3d267fa7d2bc9e5d0ecc/config.json) — получено 2026-09-27
8. [czl — quantization.json MLX-6bit с параметрами конверсии](https://huggingface.co/czl/CLM-v0.1-8B-MLX-6bit/blob/527e5bd496f3ee26db0230f97bcc5d4509700f63/quantization.json) — получено 2026-09-27
9. [Qwen — LICENSE базового Qwen3-8B](https://huggingface.co/Qwen/Qwen3-8B/blob/b968826d9c46dd6066d109eabc6255188de91218/LICENSE) — получено 2026-09-27