JEV-27B-VL: локальные решения по изображениям с открытыми весами

Зачем это локальному стеку

Есть два режима. System 1 присваивает вероятности ответам на вопрос по тексту и изображениям: да/нет, выбор одного из 2–16 вариантов или оценка 0–5. System 2 использует базовую мультимодальную модель для обычного ответа и рассуждения. Оба режима автор предлагает обслуживать одним процессом vLLM; System 1 обращается к адаптеру jev-decision, System 2 — к базовой модели. Практический сценарий — отбор изображений по явно сформулированному критерию, например предварительное ранжирование обложек, с возможностью передать сложные случаи более дорогому режиму. Это не готовая система модерации и не гарантия точности на вашем наборе изображений. s1 s3

В закреплённой ревизии 394bbc4b76ca1ac038412e18b8b389b7660d2ae1 доступны индекс, все 18 из 18 шардов Safetensors, адаптер, decision_head.json, калибровочные параметры и serve.sh; это не пустая карточка. Весовая сборка содержит базовые веса и адаптер, поэтому не следует считать её одной маленькой LoRA. Лицензия репозитория и исходной Qwen3.8-27B — Apache-2.0: открытые веса доступны без запрета коммерческого применения со стороны этой лицензии, но при распространении сохраняются её условия и уведомления. Наличие открытых весов отдельно от факта успешного запуска на конкретном оборудовании. s1 s4 s5

Что показали авторы

В опыте на MicroLens-100k авторы взяли 200 пользователей: для каждого скрыли следующее просмотренное видео среди 19 кандидатов. На вход подавали обложки последних пяти просмотренных видео и обложку кандидата. По опубликованным ими результатам режим «только обложки» получил AUC 0,727 и HR@5 0,590; режим «только заголовки» — 0,649 и 0,455. Item-based collaborative filtering, использовавший историю 59 045 других пользователей, получил AUC 0,728 и HR@5 0,490. Эти числа воспроизведены в машинно-читаемой сводке авторского демо, а не измерены редакцией; это сравнение одного сценария с 200 пользователями, не общий рейтинг моделей зрения. s1 s6

Важная граница: голова System 1 обучалась на тексте, поэтому решения по изображениям авторы называют zero-shot. Карточка прямо говорит, что систематическая калибровка вероятностей на задачах с изображениями не измерялась. Хорошее ранжирование в этом тесте не означает, что число 0,83 можно трактовать как точную вероятность для вашей задачи. Другие метрики RewardBench, поиска и проверки галлюцинаций в авторском блоге перенесены из текстовой JEV-27B; не следует выдавать их за отдельный мультимодальный тест JEV-27B-VL. s1 s2

Как оценивать перед внедрением

Начните с карточки модели и закреплённого serve.sh: автор запускает vLLM с --enable-lora, --max-lora-rank 32, --limit-mm-per-prompt '{"image": 8}' и --max-num-seqs 8. Последнее — не произвольный тюнинг: по предупреждению автора, при большем размере батча мультимодальный LoRA-путь vLLM может вернуть неверные вероятности System 1. Не убирайте ограничение без собственной проверки. Пример с одним ускорителем от 80 GB — рекомендация автора для его конфигурации, не установленный минимум VRAM и не результат наших испытаний. s1 s3

Для пилота зафиксируйте ревизию модели и версию vLLM, проверьте совпадение имён обслуживаемой модели и клиента, затем соберите собственную размеченную выборку изображений: отдельно измерьте ранжирование, калибровку вероятностей и ошибки по классам. Есть практическая нестыковка в исходниках: serve.sh публикует базовый маршрут под именем autotrust/JEV-27B-VL, а скрипт демо serve_jev27b_mm.sh сохраняет имя autotrust/JEV-27B для совместимости с его клиентом. Кроме того, адаптерный adapter_config.json называет класс Qwen3_5ForCausalLM, тогда как основной config.json — Qwen3_5ForConditionalGeneration. Редакция не проводила запуск и не подтверждает, что эти рецепты взаимозаменяемы: используйте клиент и сервер из одного и того же источника, а совместимость конкретной версии vLLM проверьте до production. s3 s7 s8

Если нужны решения только по тексту, сначала сравните с уже описанной JEV-27B: мультимодальная сборка нужна именно при участии изображений. Для изображения это исследовательский кандидат с опубликованными весами и одним авторским тестом, а не подтверждённая редакцией промышленная конфигурация. s1