Intern-Decision: три открытые мультимодальные модели для локального выбора действий

Что модель делает и зачем запускать её локально

Intern-Decision построена на Qwen3.5 и решает ограниченную задачу: получает состояние, набор именованных вопросов и, при необходимости, изображения; выдаёт для каждого вопроса распределение вероятностей по разрешённым вариантам. Поддерживаются выбор (choice), шкала (score) и «да/нет» (noul). В отличие от обычного чат-режима, модель не генерирует объяснение свободным текстом: она оценивает logits вариантов в одном forward pass, затем калибрует вероятности. Практический пример — локально направить обращение в нужную команду, оценить срочность и решить, нужен ли возврат, одним запросом без отправки текста и изображений в облачный API. Это не проверка качества конкретного бизнес-процесса и не гарантия корректных решений. s1 s5

Опубликованы три размера с общим форматом запроса. Для 4B в карточке указаны до 16 вопросов на запрос, максимум 62 варианта на вопрос, не более восьми изображений и отказ при превышении 8192 входных токенов вместо молчаливой обрезки. Все веса доступны без gating; модельные LICENSE и сохранённая лицензия базовой Qwen3.5-4B — Apache-2.0. Это разрешительная лицензия, включая коммерческое использование при соблюдении её условий и сохранении уведомлений; наличие весов не означает, что опубликованы обучающие данные и весь эксперимент по подбору калибровки. s1 s2 s3 s4 s6 s7

Как запустить

Авторский путь для 4B: Python 3.12+ в совместимом окружении PyTorch/CUDA, скачать весь каталог чекпойнта, установить зависимости из его requirements.txt и импортировать DecisionEngine из вложенного inference.py. Нужны не только шарды языковой части, но и процессор, токенизатор, шаблон чата и модуль inference. Пример вызова после загрузки репозитория:

from inference import DecisionEngine

engine = DecisionEngine(device="cuda")
result = engine.predict({
"state": "Клиенту дважды списали оплату, он просит вернуть лишнюю сумму.",
"questions": {
"team": {
"type": "choice",
"instructions": "Куда направить обращение?",
"criteria": {"billing": "Оплата и возвраты", "delivery": "Доставка"},
},
"refund_requested": {"type": "noul", "instructions": "Клиент просит возврат?"},
},
})
print(result["answers"])

Это адаптация документированного авторского примера, не результат запуска Modelium. Выбирайте Intern-Decision-0.8B или -2B по своей задаче, но не переносите калибровочную температуру 4B на другой чекпойнт. Карточка указывает, что текущий штатный модуль поддерживает только HF backend; в общем GitHub-репозитории также есть отдельный XTuner-путь с другими закреплёнными зависимостями. Стандартный generate() здесь не эквивалентен показанному API оценки вариантов. Минимум RAM/VRAM авторы не подтверждают: опубликованные размеры файлов и их тестовая RTX 4090 — не требования к оборудованию. s1 s5 s8

Что известно о качестве

По авторской таблице 4B набирает 90,02% как невзвешенное среднее семи наборов задач против 88,74% для включённой авторами версии Jev; 0.8B и 2B показывают 79,38% и 84,68%. Это сравнение на выбранном авторами протоколе, а не независимый рейтинг: наборы отличаются объёмом и тематикой, публичная часть Jevbench — диагностический набор, а данные подбора калибровки не опубликованы. Авторы приложили записи семи тестовых наборов, код подсчёта и хэши весов, но не исторические ответы внешних baseline-моделей; нельзя воспроизвести всю сравнительную таблицу только из этого репозитория. s1 s5 s9

Отдельный авторский замер 4B — средние 44,16 мс на запрос на одной RTX 4090 с BF16, SDPA и штатным HF runtime для короткого входа в 289 токенов с тремя полями. Это не оценка скорости на длинных документах или иных GPU. Авторы предупреждают: таблицы точности оценены через XTuner, а HF- и XTuner-бэкенды могут давать численно разные вероятности. Малый 96-кейсный пилот калибровки также не заменяет независимые испытания на вашей предметной области. s1 s5 s9

Вывод: семейство полезно там, где нужен локальный скоринг фиксированных действий с вероятностями и, при необходимости, изображениями. Перед продакшеном стоит отдельно проверить свои варианты ответа, калибровку, ошибки и задержку на собственном оборудовании; Modelium не запускал и не бенчмаркил эти модели. s1 s5