# Vela 2.0: четыре локальные модели для маршрутизации, PII и проверки ответов

Источник: https://modelium.tech/zhurnal/vela-2-0-local-routing-pii-hallucination-four-models/

Команда vLLM Semantic Router и KR Labs 6 октября представила Vela 2.0: четыре доступные для загрузки модели от 0,3B до 9B параметров. Они отвечают на структурированные вопросы о маршруте запроса, безопасности и фрагментах текста, а не генерируют свободный ответ. Младшая версия запускается через Torch или ONNX на CPU; для старших опубликованы веса и Python-код. Лицензия весов и кода — Apache-2.0; результаты тестов пока являются измерениями авторов.

## Что произошло

6 октября 2026 года команда vLLM Semantic Router вместе с KR Labs представила семейство Vela 2.0: 0.3B, 0.8B, 4B и 9B. Это не четыре чат-бота. Модели принимают текст и заданные приложением вопросы, после чего возвращают выбор из вариантов, ответ да/нет, оценку, набор меток либо размеченные фрагменты с позициями в исходном тексте. Один вызов может совмещать маршрутизацию обращения, поиск персональных данных и проверку того, какие фразы ответа не подтверждаются предоставленным источником. [s1](#src-s1)

## Какую версию выбрать для локального пилота

- **0.3B — начальная точка для CPU.** Двунаправленный энкодер ModernBERT на 307 млн параметров, контекст до 8192 токенов; в официальном репозитории доступны `model.safetensors`, экспорт ONNX и код для Torch/HTTP. Он ищет PII и неподтверждённые фрагменты, но не имеет отдельной broad-head для произвольного извлечения сущностей. В карточке приведён CPU-пример с `AutoModel.from_pretrained(..., trust_remote_code=True)`. Такой флаг исполняет код из репозитория: закрепите ревизию и изучите файлы до запуска в чувствительной среде. [s2](#src-s2) [s3](#src-s3)

- **0.8B и 4B — гибридные модели.** Карточки и манифесты содержат полные Safetensors-комплекты и отдельный `broad_head.safetensors`; они добавляют более открытое извлечение сущностей к маршрутизации. Выбор между ними делайте по своим данным и профилю задержки, а не по одной таблице авторских результатов. [s4](#src-s4)

- **9B — вариант для проверки качества на сложных данных.** Репозиторий содержит пять шардов `model-00001-of-00005.safetensors` … `model-00005-of-00005.safetensors`, индекс весов и отдельную broad-head. Указанное авторами число параметров — 7,9 млрд, лимит входа — 16 384 токена. Карточка описывает FP32-параметры с bf16-autocast backbone на GPU; fp16 для этого пути не поддерживается. Указанные в карточке около 32 ГБ памяти *параметров* в FP32 не являются универсальным минимумом ОЗУ или VRAM: рантайм добавляет собственные расходы, а альтернативная точность меняет потребление. [s5](#src-s5)

Для первого прототипа возьмите короткий набор реальных обезличенных обращений с известными правильными маршрутами и чувствительными полями. Сравните на них ответы, пороги и задержку выбранного размера. Совместимый формат вопросов у всех четырёх моделей позволяет начать с CPU-варианта, а затем проверить старший без переписывания схемы ответа; это не обещает одинакового качества. [s1](#src-s1) [s2](#src-s2)

## Лицензия и границы заявлений

Авторы размещают веса, код и документацию семейства под Apache-2.0; в репозитории 9B есть собственный `LICENSE`, уведомления о базовой модели и источниках данных. Лицензии исходных датасетов указаны отдельно, некоторые имеют условия CC BY-SA; Apache-2.0 на веса не переписывает права на эти датасеты. Коммерческое применение модели в рамках Apache-2.0 возможно при соблюдении условий лицензии и проверке сопутствующих компонентов. [s5](#src-s5) [s6](#src-s6)

По авторской оценке, Vela 2.0 9B получила AUC 0,989 на ранее не встречавшихся семействах prompt-атак и F1 0,940 для PII в документах около 8 тысяч токенов. Это разные задачи и знаменатели, не единая «точность». Для Jev Decision Index авторы приводят 41,63 при включённой необязательной Noul-калибровке и 41,09 без неё; смешивать режимы нельзя. Авторы прямо раскрывают, что у 0.3B финальный выбор релизной версии и порога для PII частично опирался на наблюдение тестового эффекта, поэтому её shipped-результат на 8K не следует трактовать как полностью слепой тест. Modelium эти тесты не воспроизводил. [s5](#src-s5) [s7](#src-s7)

**Ограничение:** поиск неподтверждённого фрагмента — сигнал для проверки оператором, а не доказательство ложности. Не отдавайте этой модели окончательное решение о персональных данных или безопасности без собственного набора ошибок, журналирования и ручной проверки спорных случаев. [s1](#src-s1) [s7](#src-s7)

## Источники

1. [vLLM Semantic Router и KR Labs — Vela 2.0: Open Foundation Routing Models (6 октября 2026)](https://vllm-sr.ai/blog/vela-2-0-open-foundation-routing-models/) — получено 2026-10-07
2. [Vela 2.0 0.3B — model card, закреплённая ревизия](https://huggingface.co/vllm-sr/Vela-2.0-0.3B/blob/d6f03aa9baca4f9017fa8f8e9c2764d3bed3f409/README.md) — получено 2026-10-07
3. [Hugging Face API — Vela 2.0 0.3B: файлы и SHA](https://huggingface.co/api/models/vllm-sr/Vela-2.0-0.3B) — получено 2026-10-07
4. [Hugging Face API — Vela 2.0 4B: веса и broad head](https://huggingface.co/api/models/vllm-sr/Vela-2.0-4B) — получено 2026-10-07
5. [Vela 2.0 9B — model card, закреплённая ревизия](https://huggingface.co/vllm-sr/Vela-2.0-9B/blob/068425bb145c05884a98b870c219047da22d9aea/README.md) — получено 2026-10-07
6. [Vela 2.0 9B — Apache-2.0 LICENSE и источники](https://huggingface.co/vllm-sr/Vela-2.0-9B/blob/068425bb145c05884a98b870c219047da22d9aea/LICENSE) — получено 2026-10-07
7. [Vela 2.0 9B — методика и ограничения авторской оценки](https://huggingface.co/vllm-sr/Vela-2.0-9B/blob/068425bb145c05884a98b870c219047da22d9aea/EVALUATION.md) — получено 2026-10-07