Horizon Labs выпустила multilingual zero-shot-классификаторы small и base с ONNX

Зачем это локальному стеку

Модель получает текст и придуманные пользователем категории — например, «запрос возврата» и «вопрос о доставке» — и ранжирует категории без отдельного обучения под них. Это полезно для маршрутизации обращений, тегирования документов и локальной обработки чувствительного текста, когда внешний API нежелателен. Это классификатор на основе NLI, а не чат-модель: он не сочиняет ответ. Авторы заявляют поддержку более 30 языков, но для части сравнительных таблиц отдельно проверяли лишь 16 языков; названия категорий и шаблоны гипотез в их оценке оставались на английском. s1 s2

Обе версии основаны на mmBERT и содержат полноценный model.safetensors, ONNX и файл onnx/model_quantized.onnx. Для small манифест показывает соответственно 562,6 МБ, 563,1 МБ и 268,4 МБ; для base — 1,23 ГБ, 1,23 ГБ и 641,1 МБ. Это размеры файлов, не минимальные требования к RAM или VRAM. Подготовленный ONNX-пакет делает сценарий CPU/браузера практичнее, но мы не проверяли скорость и совместимость на конкретных устройствах. Автор выбрал схему квантования gather_only по совпадению верхней категории на своей тестовой выборке, а не заявил, что все операции модели стали INT8. s3 s4

Как попробовать

Для обычного Python-пайплайна Transformers авторы приводят такой пример; нужна установленная совместимая версия transformers, а при первом запуске загрузятся файлы модели:

from transformers import pipeline

clf = pipeline(
"zero-shot-classification",
model="Horizon-Labs/multilingual-zeroshot-small",
revision="d8c48cf2e7c7640ad5bbb379bdb2f72f5ebde7c4",
)
result = clf(
"Mi pedido llegó roto y quiero que me devuelvan el dinero.",
candidate_labels=["refund request", "shipping question", "product praise"],
)
print(result["labels"], result["scores"])

Ревизия в примере закрепляет small v1.1; для прежней версии в карточке указан тег v1.0. Для base замените ID на Horizon-Labs/multilingual-zeroshot-base и закрепите ревизию a3f4a1ed4222b1a187acfe8db13b3bf20f549023. При нескольких независимых категориях автор рекомендует multi_label=True и подбор порога на собственных примерах. Для ONNX берите файлы именно из того же закреплённого репозитория, не смешивайте версии токенизатора и весов. s1 s2

Что говорят тесты — и чего они не говорят

По опубликованным авторским, не перепроверенным Modelium оценкам на MASSIVE (60 классов, 16 языков) точность small v1.1 — 0,402, base v1.0 — 0,492; на SIB-200 (7 тем, 16 языков) — 0,789 и 0,798. Для небольших проверочных наборов автор сообщает совпадение верхней категории между полным и подготовленным ONNX-вариантом small на всех 160 примерах SIB-200 и 100 AG News. Это не гарантия эквивалентного качества на новых данных. s1 s2 s3

Есть важное ограничение оценки: для small v1.1 автор добавил синтетические примеры с общими таксономиями, чьи названия меток пересекаются с AG News, Yahoo Answers, SIB-200 и другими наборами. Тексты бенчмарков, по карточке, в обучении не использовались, но эти строки не являются полностью zero-shot относительно названий меток. Для новых, незнакомых категорий автор приводит менее высокие показатели; качество зависит от формулировки категории и шаблона гипотезы. Перед внедрением проверяйте свою предметную область и языки. s1

Права и происхождение

Карточки обеих производных моделей помечены Apache 2.0, репозиторий кода Horizon содержит LICENSE Apache 2.0. Карточки исходных jhu-clsp/mmBERT-small и jhu-clsp/mmBERT-base помечены MIT. Horizon утверждает, что для обучения отбирала данные с допустимым коммерческим использованием; это заявление разработчика, не независимое юридическое заключение о каждом наборе данных. Указание открытых весов и лицензий не означает, что кто-либо уже проверил конкретный коммерческий сценарий пользователя. s1 s2 s5 s6