CLM-v0.1-8B: локальное ранжирование действий поверх Qwen3-8B

Зачем это локальному агенту

CLM сравнивает предложенные варианты: какое действие выбрать, какому инструменту передать запрос, какой из нескольких готовых ответов лучше. Состояния и действия кодируются отдельно; повторно используемые эмбеддинги вариантов можно кэшировать. Модель не пишет следующий ответ сама и возвращает оценки относительно переданного набора кандидатов, а не абсолютную вероятность правильности решения. Авторы называют архитектуру contrastive model с двумя головами поверх замороженного Qwen3-8B, обученными с InfoNCE. s1 s3

Практический сценарий — локальный роутер, который выбирает из уже известных инструментов или отделов, прежде чем передать задачу генеративному агенту. Если готового списка кандидатов нет, CLM сама его не создаст. Открытые веса и код лицензированы по Apache 2.0; карточка базового Qwen3-8B также указывает Apache 2.0. Это отдельные лицензии для голов, исходного энкодера и программного пакета, а не заявление о том, что в 75-мегабайтном файле находится весь Qwen3-8B. s1 s3 s4

Как запустить

Авторы предлагают установить contrastive-lm, затем поднять Qwen3-8B в режиме pooling через vLLM и отдельно API CLM. Команды из их руководства: s1 s3

pip install contrastive-lm
vllm serve Qwen/Qwen3-8B --served-model-name qwen3-8b --runner pooling --max-model-len 2048 --port 8090
# В другом терминале:
clm-serve

При первом запуске clm-serve загружает головы из Hugging Face; сервер CLM по умолчанию доступен на локальном порту 8700 и обращается к локальному vLLM на 8090. Для полностью автономного развёртывания заранее загрузите и базовый Qwen3-8B, и головы: первый старт по инструкции предполагает сетевую загрузку. Руководство предупреждает, что при стандартном лимите состояния длиннее 2048 токенов обрезаются; для увеличения контекста нужно согласованно поднять лимиты обоих серверов. Указанный авторами пример GPU-конфигурации — не проверенный минимальный порог железа. s1 s3

Что означают результаты

Карточка заявляет до девятикратного снижения задержки в отдельных сравнениях с Jev и результаты 81,6% на DeepSWE и 87,6% на Terminal-Bench 2.1. Но последние два числа относятся к дообученным головам в роли верификатора, а не к нулевому CLM-v0.1-8B. В руководстве авторы описывают выбор лучшего из решений, сгенерированных другими моделями, на 38 отложенных задачах DeepSWE и 30 задачах Terminal-Bench 2.1; задержку измеряли на H100. Это авторская оценка, не независимый тест Modelium и не прогноз скорости на вашем устройстве. s1 s3

Итог: если агенту требуется быстро выбрать из небольшого известного набора действий без передачи данных внешнему API, CLM-v0.1-8B предлагает воспроизводимый локальный путь. Планируйте отдельно запуск базового Qwen3-8B и не переносите метрики дообученных верификаторов на стандартные головы. s1 s3