Перейти к содержанию
modelium.
Начать с задачи
←
Новость

myJEV: шесть локальных моделей решений на Qwen3.5 с отдельной оценкой уверенности

На странице · 3 разделов

7 октября автор myJEV открыл шесть пакетов адаптеров и голов для локального выбора ответа из заданных вариантов: 0,8B, 4B и 9B, по версии с продолженным обучением и exact RL для каждого размера. Базовые веса Qwen3.5 загружаются отдельно. Автор рекомендует начать с 4B continued SFT: преимущество RL по точности на BANKING77 не переносится автоматически на другие задачи и не означает лучшую калибровку.

Что вышло

7 октября 2026 года автор myJEV открыл шесть исследовательских пакетов: myJEV-0.8B, myJEV-4B, myJEV-9B и по варианту -RL для каждого размера. Это не шесть автономных языковых моделей: каждый репозиторий содержит LoRA-адаптер, специальную головку, манифест и лицензии; Qwen3.5 соответствующего размера и закреплённой ревизии загружается отдельно. Hugging Face фиксирует создание всех шести репозиториев 7 октября, а в ревизии рекомендованного bahree/myJEV-4B лежат adapter/adapter_model.safetensors, heads.safetensors и manifest.json. s1 s2 s3

Практическая задача — маршрутизация обращения или другого входа среди заранее перечисленных вариантов. Приложение передаёт контекст, инструкции и описания кандидатов; собственный загрузчик myJEV возвращает выбранный вариант, оценки вариантов и отдельную оценку правильности выбора. Это не свободная генерация текста и не стандартный виджет text-generation. Сервис можно поднять локально через Python/CLI/HTTP или Docker, но само появление весов на Hub не создаёт облачный endpoint. s2 s4

Как выбрать пакет

Автор предлагает 4B с продолженным supervised fine-tuning и температурной калибровкой как рабочую отправную точку для собственных проверок, а не как готовую production-модель. В сравнении на официальных 3080 тестовых примерах BANKING77 средняя точность трёх запусков для 4B составила 89,23% после продолженного обучения и 90,27% для exact RL. При этом средний Brier оценки правильности был лучше у continued SFT: 0,0740 против 0,0818; меньше — лучше. Это результаты автора на одной предметной области и при его протоколе, не тест Modelium и не обещание на ваших обращениях. s5 s2

0,8B — более компактный вариант для проверки идеи; 9B требует отдельной оценки затрат и качества, а его учебный протокол применяет NF4 в отличие от BF16 у меньших размеров. В тестах переноса на подмножества CLINC и примеры вне поддерживаемых категорий преимущество 4B exact RL на BANKING77 не сохранилось как универсальное: у автора 4B continued SFT лучше обрабатывал явно неподдерживаемый вариант. Разница между оценкой выбора и уверенностью, что выбор верен, принципиальна: высокий балл выбранного варианта не гарантирует безопасную автоматическую отправку без человека. s5

Локальный путь и ограничения

Для воспроизводимого старта закрепите ревизию Hub-пакета (например, опубликованную 7 октября ревизию bahree/myJEV-4B a1b9e3b1181293220012cfb15587cdba0767ae8e), установите зависимости из проекта и используйте его DecisionModel.load() либо CLI myjev score --artifact bahree/myJEV-4B --revision <закреплённый SHA> --input examples/request.json. Манифест этого пакета ссылается на Qwen/Qwen3.5-4B ревизии 851bf6e806efd8d0a36b00ddf55e13ccb7b8cd0a. Текущая ревизия Hub после обновления карточки отличается от внутреннего artifact_revision в манифесте: для загрузки с Hub нужен SHA коммита Hub, не этот внутренний идентификатор артефакта. Команду и совместимость модели заявляет автор; мы не запускали GPU-инференс. s2 s3 s4

Заявленные ограничения пакета — до 160 вариантов и 4096 токенов полного входа. Это границы приёма запроса, а не доказательство качества на длинных документах. Документация автора описывает локальную привязку HTTP к 127.0.0.1:8000, проверки /readyz после загрузки и прогрева, а для удалённого доступа — аутентифицированный HTTPS-прокси; не выставляйте незащищённый backend в сеть. Автор отдельно отмечает, что GPU-замеры получены на его конфигурации и не являются минимальными требованиями к памяти или производительности. s4 s5

Код и собственные адаптеры/головки myJEV опубликованы под MIT; отдельная лицензия исходного Qwen3.5-4B — Apache-2.0, а происхождение учебного BANKING77 и CC BY 4.0 указаны в NOTICE. Нельзя распространять базовые веса так, будто MIT-лицензия адаптера автоматически распространяется и на них. Для реальной маршрутизации сначала разметьте свои варианты, замерьте ошибку и калибровку на собственных данных, определите порог передачи человеку и отдельно проверьте поведение вне известных классов. s3 s5 s6

Источники