Vela 2.0: четыре локальные модели для маршрутизации, PII и проверки ответов

Какую версию выбрать для локального пилота

• 0.3B — начальная точка для CPU. Двунаправленный энкодер ModernBERT на 307 млн параметров, контекст до 8192 токенов; в официальном репозитории доступны model.safetensors, экспорт ONNX и код для Torch/HTTP. Он ищет PII и неподтверждённые фрагменты, но не имеет отдельной broad-head для произвольного извлечения сущностей. В карточке приведён CPU-пример с AutoModel.from_pretrained(..., trust_remote_code=True). Такой флаг исполняет код из репозитория: закрепите ревизию и изучите файлы до запуска в чувствительной среде. s2 s3
• 0.8B и 4B — гибридные модели. Карточки и манифесты содержат полные Safetensors-комплекты и отдельный broad_head.safetensors; они добавляют более открытое извлечение сущностей к маршрутизации. Выбор между ними делайте по своим данным и профилю задержки, а не по одной таблице авторских результатов. s4
• 9B — вариант для проверки качества на сложных данных. Репозиторий содержит пять шардов model-00001-of-00005.safetensors … model-00005-of-00005.safetensors, индекс весов и отдельную broad-head. Указанное авторами число параметров — 7,9 млрд, лимит входа — 16 384 токена. Карточка описывает FP32-параметры с bf16-autocast backbone на GPU; fp16 для этого пути не поддерживается. Указанные в карточке около 32 ГБ памяти параметров в FP32 не являются универсальным минимумом ОЗУ или VRAM: рантайм добавляет собственные расходы, а альтернативная точность меняет потребление. s5

Для первого прототипа возьмите короткий набор реальных обезличенных обращений с известными правильными маршрутами и чувствительными полями. Сравните на них ответы, пороги и задержку выбранного размера. Совместимый формат вопросов у всех четырёх моделей позволяет начать с CPU-варианта, а затем проверить старший без переписывания схемы ответа; это не обещает одинакового качества. s1 s2

Лицензия и границы заявлений

Авторы размещают веса, код и документацию семейства под Apache-2.0; в репозитории 9B есть собственный LICENSE, уведомления о базовой модели и источниках данных. Лицензии исходных датасетов указаны отдельно, некоторые имеют условия CC BY-SA; Apache-2.0 на веса не переписывает права на эти датасеты. Коммерческое применение модели в рамках Apache-2.0 возможно при соблюдении условий лицензии и проверке сопутствующих компонентов. s5 s6

По авторской оценке, Vela 2.0 9B получила AUC 0,989 на ранее не встречавшихся семействах prompt-атак и F1 0,940 для PII в документах около 8 тысяч токенов. Это разные задачи и знаменатели, не единая «точность». Для Jev Decision Index авторы приводят 41,63 при включённой необязательной Noul-калибровке и 41,09 без неё; смешивать режимы нельзя. Авторы прямо раскрывают, что у 0.3B финальный выбор релизной версии и порога для PII частично опирался на наблюдение тестового эффекта, поэтому её shipped-результат на 8K не следует трактовать как полностью слепой тест. Modelium эти тесты не воспроизводил. s5 s7

Ограничение: поиск неподтверждённого фрагмента — сигнал для проверки оператором, а не доказательство ложности. Не отдавайте этой модели окончательное решение о персональных данных или безопасности без собственного набора ошибок, журналирования и ручной проверки спорных случаев. s1 s7