JEV-27B: локальные типизированные решения и генерация в одном vLLM

Зачем это локальному агенту

JEV-27B использует текстовую основу Qwen3.8-27B как режим генерации (System 2), а отделяемый LoRA-адаптер с головой решений — как System 1. Последний возвращает распределение вероятностей для noul (да/нет), choice (выбор из 2–16 вариантов) и score (оценка 0–5). Практический сценарий — ранжировать инструменты, выбрать следующий шаг или оценить кандидатов локально, не направляя каждый ограниченный выбор в удалённый API. Два режима работают в одном vLLM-сервере, но генеративная основа не обучена объяснять решения адаптера и может с ним расходиться. Это модель для текста, не универсальный мультимодальный пакет исходной Qwen. s1

Авторы публикуют полноценный набор текстовых весов: в манифесте 13 модельных шардов общим объёмом около 53,8 млрд байт, плюс отдельный адаптер. Это объём файлов, не требование к RAM или VRAM. Для точного планирования оборудования нужны собственные замеры с выбранной длиной контекста, параллелизмом и настройками сервера; B200 из авторских измерений — тестовая платформа, не объявленный минимум. s1 s3

Что доступно и как запустить

В карточке приведён следующий стартовый пример автора для vLLM после загрузки репозитория:

hf download autotrust/JEV-27B --local-dir JEV-27B
vllm serve JEV-27B --served-model-name autotrust/JEV-27B \
--enable-lora --max-lora-rank 32 \
--lora-modules jev-decision=JEV-27B/adapter_vllm \
--logprobs-mode processed_logprobs --max-model-len 4096

Обычные запросы к autotrust/JEV-27B идут через генеративную основу; запросы к jev-decision используют LoRA и ограниченные токены ответа. Для вероятностей авторский Python-пример дополнительно применяет смещения головы и температуры из adapter_vllm/decision_head.json и calibration.json. Одной команды сервера недостаточно для корректных откалиброванных оценок: нужны также эти файлы и обработка logprobs. Параметр --max-model-len 4096 выбран в карточке для коротких решений; его нельзя трактовать как максимальный контекст исходной архитектуры. Modelium запуск не воспроизводил. s1 s3

Лицензия и доказательства качества

В метаданных и карточке JEV-27B для весов указана Apache-2.0, как и для исходной Qwen3.8-27B и опубликованного обучающего корпуса Jev Distill Corpus v3. Файла LICENSE в дереве JEV-27B на проверенной ревизии нет, поэтому ориентироваться нужно также на карточку и лицензию исходной модели; происхождение обучающих меток из стороннего закрытого TypeSafe Jev 1.13 авторы раскрывают отдельно. Открытые веса и заявленная лицензия не означают открытого исходного кода преподавателя TypeSafe. s1 s3 s4 s5

Это оценки авторов, не независимая проверка. На 25 376 отложенных примерах с распределениями ответов учителя авторы приводят KL около 0,017; на шести группах публичных задач — среднее 84,07% для JEV-27B и 84,21% для TypeSafe Jev 1.13 в их собственном прогоне. Ещё один результат — 78,0% pass@1 на HumanEval для неизменённого генеративного пути. Часть сравнительных строк для других моделей взята из чужого отчёта, а не повторно измерена AutoTrust. Сравнение задержки с облачным API не равнозначно: локальный замер не включает сетевой путь, удалённый — включает. s1 s6

Граница применения важнее громких цифр: автор предупреждает, что решение наследует ошибки учителя, чувствительно к порядку вариантов и не предназначено для ответственных решений без собственной калибровки и эскалации человеку. Корпус англоязычный; систематических результатов на русском в карточке нет. Для локального агента разумно отдельно проверить свои кандидаты, пороги уверенности и случаи отказа прежде, чем автоматизировать действия. s1 s5