FRIDA-Decisions: локальные решения по русскому тексту через ONNX и vLLM

Где это полезно

Например, служба поддержки может передать обращение «не приходит код подтверждения» и текстовые описания категорий «вход», «оплата», «доставка», а модель выберет одну из них. Формат также поддерживает порядковую оценку, проверку «да/нет» и ранжирование кандидатов. Новый набор меток можно задать в JSON без повторного обучения модели. Это способ строить локальный маршрутизатор обращений или фильтр перед большой языковой моделью, не универсальная генеративная LLM. Русский и английский указаны авторами; для своих меток пороги и ошибки необходимо измерять на собственных данных. s1 s4

Что лежит в репозитории

Закреплённая ревизия содержит model.safetensors (bf16, 1 646 829 336 байт), head.safetensors, конфигурацию и onnx/model_int8_pertoken.onnx (1 257 200 228 байт). Это размеры файлов, не требования к RAM или VRAM. Веса открыты без gated-доступа. Карточка модели и лицензия кода v0.2.0 указывают MIT; базовая FRIDA также помечена MIT. Это разрешение на использование опубликованных весов и кода с соблюдением текста лицензии, а не автоматическое разрешение на повторное распространение всех внешних обучающих и оценочных корпусов. У набора razvilka отдельные лицензии на каждый пример. s1 s2 s3 s5

Как выбрать локальный путь

• CPU: авторский пакет frida-decisions[onnx] из Git-тега v0.2.0, затем OnnxJudge.from_pretrained("ai-forever/FRIDA-Decisions"). Модель скачает int8 ONNX; для воспроизводимости фиксируйте ревизию весов ddced927453541cc397a10eff40d6b5e735eca90. Не ожидайте, что отсутствие GPU автоматически гарантирует нужную задержку на вашем CPU. s1 s2 s4
• Одна локальная GPU: пакет с extra [torch], Judge.from_pretrained(...) и вопросы с типами choice, score, noul (именно так написано в API для «да/нет») или ranking. Код и decisions_config.json подтверждают эти ключи; у noul нет права превращать вывод в проверенный факт без своей оценки. s1 s4
• Сервер с параллельными запросами: extra [vllm] из v0.2.0 и пример vllm serve приведены в карточке. В pyproject.toml авторы прямо ограничивают свои испытания vLLM 0.29.0: не переносите заявленные результаты на другую версию и проверяйте совместимость плагина. s1 s2

Для малого пилота начните с CPU ONNX на десятках собственных размеченных обращений: задайте категории словами, сравните решения с эталоном и соберите ошибки/время ответа. Если требуется многопользовательский поток, уже после этого проверьте вариант vLLM на своей машине. Modelium не скачивал гигабайтные веса и не запускал модель в рамках этой публикации.

Как читать метрики автора

Авторы сообщают 0,893 на razvilka для bf16 PyTorch и 0,891 для int8 ONNX на 735 русскоязычных примерах из 15 задач. Их таблица сравнивает решения с коммерческим API TypeSafe Jev (0,897), но это авторская оценка, а не доказательство равенства в произвольном рабочем потоке. Для vLLM авторы показывают 0,890 на том же наборе и около 60 запросов/с при восьми одновременных запросах на RTX 5060 Ti, vLLM 0.29.0, после прогрева и с заданной настройкой памяти GPU. Скорости CPU (0,88 с для 384 токенов и трёх вопросов на шести потоках) и GPU относятся к конкретным условиям; это не минимум оборудования и не независимый бенчмарк. Различайте доли правильных ответов PyTorch, ONNX и vLLM, не объединяя их. Код оценки опубликован, но Modelium не воспроизводил измерения. s1 s2 s5

Ограничение: разметка и формулировки вариантов влияют на выбор; проверяйте ошибки на своих русских текстах. Лицензия самого бенчмарка не совпадает с MIT модели: при повторном использовании примеров смотрите условия каждого источника. s1 s5