# FRIDA-Decisions: локальные решения по русскому тексту через ONNX и vLLM

Источник: https://modelium.tech/zhurnal/frida-decisions-russian-routing-onnx-vllm/

2 октября ai-forever выложила веса FRIDA-Decisions и код v0.2.0 для локальной классификации, маршрутизации и ранжирования русскоязычного текста. Вместо генерации модель выбирает из заданных вариантов; доступны PyTorch, int8 ONNX для CPU и серверный backend vLLM. Код и модель помечены MIT, но авторские результаты не являются независимым тестом Modelium.

FRIDA-Decisions: выбирать ответ по русскому тексту без генерации

2 октября 2026 года ai-forever загрузила веса **FRIDA-Decisions** на Hugging Face и отметила код тегом **v0.2.0**. Это дообученный энкодер FRIDA: он получает текст и заданные словами варианты, после чего возвращает выбор и распределение оценок, а не сочиняет произвольный ответ. Для локального использования авторы предоставили bf16-веса, отдельную голову и int8 ONNX-экспорт; в теге v0.2.0 добавлен серверный backend для vLLM. Репозиторий весов создан 2 октября в 08:00 UTC, файлы весов вошли в коммит 10:15 UTC, аннотированный Git-тег датирован 20:41 UTC. Более поздняя правка карточки сама по себе не новый выпуск весов. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

## Где это полезно

Например, служба поддержки может передать обращение «не приходит код подтверждения» и текстовые описания категорий «вход», «оплата», «доставка», а модель выберет одну из них. Формат также поддерживает порядковую оценку, проверку «да/нет» и ранжирование кандидатов. Новый набор меток можно задать в JSON без повторного обучения модели. Это способ строить локальный маршрутизатор обращений или фильтр перед большой языковой моделью, **не** универсальная генеративная LLM. Русский и английский указаны авторами; для своих меток пороги и ошибки необходимо измерять на собственных данных. [s1](#src-s1) [s4](#src-s4)

## Что лежит в репозитории

Закреплённая ревизия содержит `model.safetensors` (bf16, 1 646 829 336 байт), `head.safetensors`, конфигурацию и `onnx/model_int8_pertoken.onnx` (1 257 200 228 байт). Это размеры файлов, **не требования к RAM или VRAM**. Веса открыты без gated-доступа. Карточка модели и лицензия кода v0.2.0 указывают MIT; базовая FRIDA также помечена MIT. Это разрешение на использование опубликованных весов и кода с соблюдением текста лицензии, а не автоматическое разрешение на повторное распространение всех внешних обучающих и оценочных корпусов. У набора razvilka отдельные лицензии на каждый пример. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s5](#src-s5)

## Как выбрать локальный путь

- **CPU:** авторский пакет `frida-decisions[onnx]` из Git-тега v0.2.0, затем `OnnxJudge.from_pretrained("ai-forever/FRIDA-Decisions")`. Модель скачает int8 ONNX; для воспроизводимости фиксируйте ревизию весов `ddced927453541cc397a10eff40d6b5e735eca90`. Не ожидайте, что отсутствие GPU автоматически гарантирует нужную задержку на вашем CPU. [s1](#src-s1) [s2](#src-s2) [s4](#src-s4)

- **Одна локальная GPU:** пакет с extra `[torch]`, `Judge.from_pretrained(...)` и вопросы с типами `choice`, `score`, `noul` (именно так написано в API для «да/нет») или `ranking`. Код и `decisions_config.json` подтверждают эти ключи; у `noul` нет права превращать вывод в проверенный факт без своей оценки. [s1](#src-s1) [s4](#src-s4)

- **Сервер с параллельными запросами:** extra `[vllm]` из v0.2.0 и пример `vllm serve` приведены в карточке. В `pyproject.toml` авторы прямо ограничивают свои испытания **vLLM 0.29.0**: не переносите заявленные результаты на другую версию и проверяйте совместимость плагина. [s1](#src-s1) [s2](#src-s2)

Для малого пилота начните с CPU ONNX на десятках собственных размеченных обращений: задайте категории словами, сравните решения с эталоном и соберите ошибки/время ответа. Если требуется многопользовательский поток, уже после этого проверьте вариант vLLM на своей машине. Modelium не скачивал гигабайтные веса и не запускал модель в рамках этой публикации.

## Как читать метрики автора

Авторы сообщают **0,893 на razvilka** для bf16 PyTorch и **0,891** для int8 ONNX на 735 русскоязычных примерах из 15 задач. Их таблица сравнивает решения с коммерческим API TypeSafe Jev (0,897), но это авторская оценка, а не доказательство равенства в произвольном рабочем потоке. Для vLLM авторы показывают **0,890** на том же наборе и около **60 запросов/с** при восьми одновременных запросах на RTX 5060 Ti, vLLM 0.29.0, после прогрева и с заданной настройкой памяти GPU. Скорости CPU (0,88 с для 384 токенов и трёх вопросов на шести потоках) и GPU относятся к конкретным условиям; это не минимум оборудования и не независимый бенчмарк. Различайте доли правильных ответов PyTorch, ONNX и vLLM, не объединяя их. Код оценки опубликован, но Modelium не воспроизводил измерения. [s1](#src-s1) [s2](#src-s2) [s5](#src-s5)

**Ограничение:** разметка и формулировки вариантов влияют на выбор; проверяйте ошибки на своих русских текстах. Лицензия самого бенчмарка не совпадает с MIT модели: при повторном использовании примеров смотрите условия каждого источника. [s1](#src-s1) [s5](#src-s5)

## Источники

1. [ai-forever: FRIDA-Decisions model card, revision ddced927](https://huggingface.co/ai-forever/FRIDA-Decisions/blob/ddced927453541cc397a10eff40d6b5e735eca90/README.md) — получено 2026-10-02
2. [ai-forever/FRIDA-Decisions: tag v0.2.0, package and LICENSE](https://github.com/ai-forever/FRIDA-Decisions/tree/v0.2.0) — получено 2026-10-02
3. [Hugging Face: pinned FRIDA-Decisions model tree and weights](https://huggingface.co/ai-forever/FRIDA-Decisions/tree/ddced927453541cc397a10eff40d6b5e735eca90) — получено 2026-10-02
4. [FRIDA-Decisions v0.2.0: API protocol and ONNX backend](https://github.com/ai-forever/FRIDA-Decisions/tree/v0.2.0/frida_decisions) — получено 2026-10-02
5. [Razvilka: benchmark license and per-item reuse conditions](https://huggingface.co/datasets/artemsnegirev/razvilka/blob/a31c9404615592085e81f971c65896ab91afd179/LICENSE.md) — получено 2026-10-02