CLM-v0.1-8B для MLX: 8- и 6-битный ранкер на Apple Silicon

CLM-v0.1-8B для MLX: 8- и 6-битный ранкер на Apple Silicon

27 сентября 2026 года пользователь Hugging Face czl загрузил отдельные MLX-репозитории энкодера CLM-v0.1-8B с квантованием 8 и 6 бит; есть также bf16-эталон и экспериментальный 4-битный пакет. История коммитов подтверждает появление файлов весов 8/6 бит около 01:30 UTC. Это сторонняя конверсия уже выпущенного CLM, не новая базовая модель и не официальный релиз команды Contrastive-LM. s1 s2 s3 s4

Что теперь можно делать локально

CLM оценивает заранее заданные действия: например, какому инструменту поручить запрос или какой из готовых ответов поставить первым. Её исходные проекционные головы работают поверх эмбеддингов Qwen3-8B; сама модель не дописывает текст и не придумывает список кандидатов. Автор MLX-пакетов перенёс энкодер на Apple Silicon, положил веса и код clm_mlx в репозитории и предусмотрел сервер эмбеддингов с интерфейсом /v1/embeddings для существующего клиента CLM. Просто вызвать генерацию через mlx_lm вместо сервера эмбеддингов нельзя: нужны pooling последнего реального токена и согласованные с ним головы. s1 s3 s5

Если вы уже используете CLM как локальный роутер через vLLM, эти веса предлагают альтернативный энкодер для Mac. Репозитории доступны без ограничения доступа и включают Safetensors, конфигурации, токенизатор и код сервера. Фактический запуск на Mac редакция Modelium не проводила: наличие рецепта и файлов не равно нашей аппаратной проверке. s1 s2

Почему 8/6 бит, а не 4

По оценке автора конверсии, 8-битный вариант повторил top-1 решение bf16 в 98,88% из 23 926 вопросов; 6-битный — в 98,28%. В подвыборке из 7 440 решений, где отрыв лидера bf16 превышал 1 nat, оба совпали с эталоном в 7 440 случаях. Это проверка согласия с bf16 того же энкодера и runtime, а не независимое доказательство точности CLM на произвольных задачах. В той же авторской оценке 4-битный вариант дал только 61,86% общего согласия, 6 619 совпадений из 7 440 уверенных решений и падение accuracy планировщика T-Rex на 31,95 процентного пункта. Поэтому 4-битный пакет существует для воспроизводимости, но автор не рекомендует его для ранжирования. s1 s2 s4 s6

Метрика отражает поведение с конкретными головами CLM и выбранным корпусом; она не сообщает скорость генерации, поскольку генерации здесь нет. Веса квантованы в affine-режиме с группой 32 — это видно в опубликованных config.json и quantization.json. При этом в текстовой карточке 8/6 бит пример команды конвертации по ошибке содержит --q-group-size 128; для определения параметров опубликованных файлов следует ориентироваться на их конфигурацию, а не копировать эту строку как воспроизводимый рецепт. s7 s8

Как устроен запуск

Автор описывает путь: загрузить один из репозиториев czl/CLM-v0.1-8B-MLX-8bit или czl/CLM-v0.1-8B-MLX-6bit вместе с его кодом, поднять python -m clm_mlx.server --model <путь-к-скачанной-модели> --port 8092, затем подключить clm-serve --emb-url http://127.0.0.1:8092/v1/embeddings. Второй процесс использует головы и интерфейс исходного CLM; это не универсальный OpenAI chat endpoint. Команды пересказаны из карточки, а не проверены редакцией на оборудовании. s1 s2 s3 s5

Метаданные новых пакетов и вложенный LICENSE обозначают Apache 2.0. Исходные головы CLM и базовый Qwen3-8B тоже опубликованы под Apache 2.0; это позволяет рассматривать коммерческое применение при соблюдении условий лицензии, но не превращает стороннюю конверсию в официальный чекпойнт исходной команды. Не выводите требования к памяти Mac из числа бит или размера весовых файлов: в карточках нет проверенной минимальной конфигурации. s1 s3 s5 s9