Laya Typed-Decisions в ONNX: локальные решения в браузере через WebGPU

Что скачивать и зачем

Закреплённая ревизия содержит два комплекта: onnx/model.onnx плюс onnx/model.onnx_data для FP32 и onnx/model_fp16.onnx плюс onnx/model_fp16.onnx_data для FP16. Внешние файлы данных имеют размеры 1 685 175 296 и 842 587 136 байт соответственно; нужны также токенизатор и конфигурация. Наличие всех четырёх частей проверено по API HF, но объём на диске не является минимальным требованием к RAM или VRAM. Экспорт включает энкодер и decision-head в одном графе. s1 s2

Модель принимает текстовое состояние и вопросы choice (выбор), score (упорядоченная оценка) и noul (да/нет). Например, можно локально определить отдел для жалобы на двойное списание и отдельно отметить запрос возврата. У модели английский исходный чекпойнт; обучающие сценарии — обработка счетов, поддержка, инциденты безопасности и наблюдаемость агентов. На произвольных задачах автор исходной модели не обещает той же точности. s1 s3

Как проверить у себя

Публичная ветка shreyaskarnik/open-jev с закреплённым коммитом baefb88e7285cde8b7d3f2aa91b1d6f297c5a282 содержит адаптер src/laya.ts, alias laya-typed-decisions и пример OpenJev.load({ model: "laya-typed-decisions" }) с choice, score, noul. Проект указывает @huggingface/transformers как peer dependency версии не ниже 4.3.0 и заявляет WebGPU с запасным WebAssembly. Если воспроизводите пример, ориентируйтесь именно на эту ветку/коммит, а не предполагайте, что установленная версия npm уже включает изменение; наличие релиза пакета с этой поддержкой отдельно не подтверждено. Установите зависимости по документации ветки, загрузите FP16-вариант и проверьте ответы на собственном наборе английских обращений с размеченными вариантами. Для использования в продукте контролируйте загрузку внешнего файла весов, время первого запуска и качество на целевом браузере. Modelium не запускал граф и не измерял скорость на своих устройствах. s1 s4 s5

Что показывают замеры автора — и чего они не доказывают

Автор ONNX-конверсии сообщает о совпадении токенов в 15 парных случаях с Python-референсом; для FP32 максимальное расхождение вероятностей меньше 0,0001, для FP16 — 0,006, без смены лидирующего ответа. На тестовой части typed-decisions (400 состояний и 2 000 вопросов) он получил 76,8% точности и медиану 0,97 секунды на состояние для FP16 через WebGPU на M3 Pro; FP32 — те же 76,8% и 1,33 секунды. Это авторские, а не независимые измерения и не гарантии скорости на другом устройстве. Исходная модель обучалась на тренировочной части того же набора, поэтому тест относится к её узкой предметной области. s1 s3

Важно: карточка ONNX называет выдачу «calibrated distribution», но карточка создателей исходного чекпойнта прямо говорит о переуверенности и о том, что параметры температуры частично подбирались на обучающих данных; температуру по числу вариантов унаследовали от базовой модели. Не представляйте выдаваемые проценты как проверенную вероятность для решений о выплатах или безопасности: перед применением нужен собственный отложенный набор, измерение калибровки и, при необходимости, перенастройка. Сравнение с Jev в исходной карточке выполнено по сторонним результатам с отличающимися выборками и промптами, поэтому не служит независимым превосходством ONNX-экспорта. s1 s3

Практический выбор: если требуется автономная типизированная классификация в браузере, проверьте закреплённую FP16-конверсию и публичную ветку runtime на своих текстах. Если нужны русскоязычные вопросы, эта англоязычная специализированная версия не является доказанным выбором; для других языков проверяйте отдельную мультиязычную модель и её лицензию/точность. Оба репозитория модели размечены Apache-2.0, репозиторий open-jev — MIT; открытые веса и лицензия не означают подтверждённого качества или полностью готовой production-интеграции. s1 s3 s4