pjev-2b: локальная модель для выбора из заданных вариантов

Где это полезно

Примеры задач — маршрутизация обращений, выбор очереди поддержки и проверка короткого условия по заранее сформулированным альтернативам. Вместо свободного текстового ответа модель отдаёт оценки вариантов; на уровне модели это логиты, а не гарантия хорошо откалиброванной вероятности. Автор предлагает нормировать их softmax и самому назначать пороги для отправки неоднозначных случаев человеку. Когда правильного ответа нет среди предоставленных вариантов, отдельного механизма отказа нет: всё равно получится распределение по имеющимся вариантам. Формулировка карточки «ничего не галлюцинирует» относится к отсутствию свободной генерации, но не означает, что решение не может быть ошибочным. s1

Модель заявлена как слитые веса MiniCPM5-2B и обученного LoRA, без обязательной отдельной загрузки базового чекпойнта. Машинная конфигурация действительно называет стандартную архитектуру LlamaForCausalLM и BF16; decision_config.json указывает letter-logit, а calib.json содержит глобальную температуру 1.0. Тот факт, что репозиторий можно загрузить через Transformers, сам по себе не создаёт API для решений: преобразование вопроса и вариантов в промпт, выбор буквенных токенов и нормировку логитов должен выполнить код приложения. Modelium не запускал веса и не проверял скорость или качество на собственном оборудовании. s1 s2

Важная ошибка в быстром старте

Карточка предлагает vllm serve с vllm>=0.30.0, затем POST на /v1/systemone. Мы сверили полный исходный tree официального тега v0.30.0 и документацию серверного API: маршрута systemone там нет. Поэтому не копируйте этот запрос как готовую инструкцию к штатному vLLM. Если нужен сервис решений, реализуйте и проверьте отдельный обработчик чтения логитов поверх поддерживаемого inference API либо дождитесь опубликованной автором совместимой интеграции. Наличие обычного OpenAI-совместимого сервера не равно поддержке специализированного маршрута. s1 s4 s5

Что означают оценки автора

Автор сообщает для pjev-2b точность 61,3% на сложном уровне публичной части JevBench (111 заданий), 81,9% на стандартном и hard-tier ECE 0,120; время одного решения — 20,5 мс на H100 при batch 1. Это авторские, не воспроизведённые нами цифры. Весь публичный набор содержит 231 задание; официальный рейтинг отдельно включает 308 закрытых заданий, на которых автор pjev результата не приводит. Сравнение с imajev-4b в карточке опирается только на агрегированные результаты, в отличие от остальных пересчитанных записей; не переносите эти числа на русский язык, свою нагрузку или CPU. Карточка называет рабочим языком английский и рекомендует отдельно калибровать модель на собственной размеченной выборке. s1

Права и границы применения

Карточка модели и базовый MiniCPM5-2B указывают Apache-2.0; отдельного LICENSE в закреплённом дереве pjev-2b нет. Обучающий Eikos Decisions имеет метку CC BY 4.0, а карточка pjev отдельно раскрывает подмножество исходных данных под ODC-BY-1.0 и записи FinEntity, позднее удалённые автором датасета: для повторного обучения проверьте происхождение и атрибуцию используемой ревизии. Это не проверка чистоты модели и не разрешение автоматически применять её для регулируемых решений. Для пилота сначала сравните варианты на своих размеченных обращениях, задайте порог эскалации и отдельно протестируйте реальный endpoint. s1 s2 s6 s7