Prompt Injection Guard от Horizon Labs: локальный фильтр атак на AI-агентов

Как использовать локально

Карточка base приводит пример pipeline("text-classification", model="Horizon-Labs/prompt-injection-guard-base") в Transformers. Для ONNX авторы предлагают загрузить onnx/model_quantized.onnx и создать сессию onnxruntime.InferenceSession(...); указан также пример для @huggingface/transformers с `dtype: "q8". ONNX-файл с квантованными эмбеддингами имеет 641 125 912 байт по манифесту base, тогда как основной Safetensors — 1 230 141 424 байта. Это размеры артефактов, а не проверенный минимум оперативной или видеопамяти. Нормализатор встроен в поставляемый токенизатор; при использовании своего токенизатора с ONNX авторы требуют повторить эту обработку. Для длинных документов карточка показывает проход перекрывающимися окнами и максимум вероятности инъекции; без него вход может быть усечён. Modelium не запускал эти модели и не проверял совместимость с конкретным устройством s1 s2.

Что говорят оценки авторов

Все приведённые далее цифры получены командой Horizon Labs, а не редакцией. Для base при пороге 0,5 опубликованы F1 0,947 на PIArena (1 500 примеров), F1 0,625 на BIPIA (3 178 примеров) и доля верной классификации 0,929 на безопасном наборе NotInject (339 примеров). На BIPIA полнота обнаружения составляет только 0,456: опасные вставки могут проходить фильтр. В Qualifire ложноположительная доля — около 0,196 на безопасных примерах этого набора, преимущественно ролевых запросах. Авторы раскрыли скрипт оценки, таблицы результатов и часть синтетических данных, но независимую репликацию этих результатов мы не проводили. Синтетические контрольные наборы созданы тем же генератором, что и часть тренировочных данных, поэтому авторы сами предупреждают об их оптимистичности s2 s6.

Практический вывод: начать с проверки документов и результатов инструментов перед агентом, настроить порог под цену ложных тревог, а для опасных действий оставить подтверждение человеком и минимальные права инструментов. Сама команда предупреждает, что адаптивные атаки обходят любой классификатор и что некоторые короткие или контекстно неоднозначные инструкции модель пропускает s2.