openjev: локальные NLI-кросс-энкодеры Qwen3.5 от 0,8B до 35B-A3B

Какие чекпойнты доступны

В актуальной закреплённой ревизии находятся три основных варианта:

• qwen3.5-0.8b-nli-v2s-long — компактная текстовая модель с контекстом 4K и дополнительными данными для faithfulness, instruction following, false-premise и длинных документов;
• qwen3.5-4b-nli-v2 — рекомендуемый автором вариант, который принимает текст и изображения;
• qwen3.5-35b-a3b-nli — MoE-чекпойнт 35B-A3B с отдельной реализацией sequence-classification и дополнительными MLP-головами для отдельных задач. s1

Файлы весов занимают:

• 0,8B — 1 706 036 760 байт в одном model.safetensors;
• 4B v2 — 9 078 635 984 байта в одном model.safetensors;
• 35B-A3B — 69 197 389 504 байта в двух Safetensors-шардах. s2 s3 s4

Это размеры скачиваемых весов, а не минимальные требования к RAM или VRAM. Потребление памяти зависит от runtime, формата вычислений, длины входа, vision-компонентов, batch size и промежуточных тензоров. Автор не заявляет универсальную минимальную конфигурацию для всех вариантов.

Основные веса 35B-A3B были загружены 19 сентября 2026 года, а 4B v2 и 0,8B v2s-long — 20 сентября. Ревизия от 21 сентября добавила внешний пакет для SGLang, launcher, клиент и результаты авторского сравнения производительности. s5

Локальный запуск через Transformers

Для обычного локального использования автор предлагает OpenJevCrossEncoder из файла modeling_openjev.py. Обёртка предоставляет методы predict, predict_hypotheses, rerank, grade и доступ к латентным представлениям. Модель также можно загрузить стандартным AutoModelForSequenceClassification: конфигурации закрепляют три метки классов и шаблон пары premise/hypothesis. s1 s6

from modeling_openjev import OpenJevCrossEncoder

jev = OpenJevCrossEncoder(
"AlexWortega/openjev",
subfolder="qwen3.5-4b-nli-v2"
)

result = jev.rerank(
"Какой газ поглощают растения при фотосинтезе?",
["кислород", "углекислый газ", "азот"]
)

4B v2 умеет включать изображение в premise, но для этого нужны pixel_values и image_grid_thw от image processor Qwen3.5. Это не превращает модель в универсальный VLM-чат: выходом остаются оценки NLI-классов для заданной пары. s1

Пакет SGLang и границы замеров

SGLang штатно не предоставляет sequence-classification класс для Qwen3.5, поэтому репозиторий содержит внешний пакет sglang_openjev. Он добавляет классификационную голову к Qwen3_5ForConditionalGeneration, сохраняя hybrid cache, mRoPE и vision tower. Автор проверял запуск с SGLang 0.5.19; endpoint /classify возвращает три сырых logit. s1 s7

hf download AlexWortega/openjev \
--include "qwen3.5-0.8b-nli-v2s-long/*" "code/*" \
--local-dir openjev
cd openjev/code
bash serve_sglang.sh ../qwen3.5-0.8b-nli-v2s-long 30000

В карточке заявлено ускорение throughput примерно в 1,5–3 раза относительно Transformers на наборе NLI- и reranking-задач. Тест проводился для 0,8B на одной RTX A6000, причём GPU была разделена с другой задачей; Transformers запускался с batch size 32. Это авторский benchmark конкретного окружения, а не независимый тест Modelium и не обещание такого же выигрыша на другом железе или размере модели. s1

Что показывают авторские оценки

Для 4B v2 автор приводит улучшения относительно предыдущего 4B-чекпойнта: ANLI r3 с 0,42 до 0,63, WANLI с 0,63 до 0,77, image claims с 0,52 до 0,84 и ARC-Challenge reranking с 0,59 до 0,72. Для 0,8B v2s-long в карточке указаны MNLI 86,2/87,1, SciTail 93,2 и RAGTruth AUROC 0,90. s1

Эти числа полезны для понимания заявленной специализации, но получены и опубликованы автором модели. Репозиторий включает evaluation-код и raw JSON результатов, однако Modelium не воспроизводил обучение или полный набор тестов. Сравнивать числа с другими моделями следует только при совпадающих датасетах, разбиении, шаблонах и процедуре подсчёта.

Лицензия и ограничения

Метаданные карточки openjev указывают лицензию MIT, а исходная Qwen3.5-4B опубликована под Apache License 2.0. Обе лицензии разрешительные и обычно допускают коммерческое использование при соблюдении их условий. При этом в закреплённом дереве openjev отдельного файла LICENSE нет: перед перераспространением стоит сохранить upstream-уведомления, проверить условия базового чекпойнта и не полагаться только на короткий тег карточки. s1 s8

Модель англоязычная и предназначена для классификации отношений между утверждениями, а не для свободного диалога. Вариант 35B-A3B требует специальной реализации Qwen3_5MoeForSequenceClassification; внешний SGLang-пакет проверен автором прежде всего на 0,8B. Для больших списков гипотез память растёт с количеством и длиной вариантов, поэтому карточка рекомендует разбивать очень крупные наборы на меньшие batch. s1