# Laya Typed-Decisions в ONNX: локальные решения в браузере через WebGPU

Источник: https://modelium.tech/zhurnal/laya-typed-decisions-onnx-webgpu-local/

29 сентября появился ONNX-экспорт специализированной Laya Typed-Decisions: опубликованы FP32 и FP16-графы с внешними весами, а публичная ветка open-jev добавила поддержку браузерного WebGPU. Это не новая обученная модель, а новый способ локального запуска. Автор сообщает о 76,8% точности на тесте typed-decisions и медиане 0,97 секунды на M3 Pro для FP16; Modelium измерения не повторял. Вероятности нельзя считать надёжно откалиброванными: исходная карточка модели прямо предупреждает об этом.

Laya Typed-Decisions в ONNX: локальные решения в браузере через WebGPU

29 сентября 2026 года опубликован репозиторий `onnx-community/laya-typed-decisions-ONNX` с конверсией существующей специализированной модели Convai Innovations. В тот же день в публичную ветку `laya-family` библиотеки `open-jev` добавлен адаптер для семейства Laya. Это **новый формат и путь локального запуска, не новая базовая модель**. Исходный чекпойнт появился раньше и обучен выбирать ответы для типизированных вопросов, а не генерировать текст. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

## Что скачивать и зачем

Закреплённая ревизия содержит два комплекта: `onnx/model.onnx` плюс `onnx/model.onnx_data` для FP32 и `onnx/model_fp16.onnx` плюс `onnx/model_fp16.onnx_data` для FP16. Внешние файлы данных имеют размеры 1 685 175 296 и 842 587 136 байт соответственно; нужны также токенизатор и конфигурация. Наличие всех четырёх частей проверено по API HF, но **объём на диске не является минимальным требованием к RAM или VRAM**. Экспорт включает энкодер и decision-head в одном графе. [s1](#src-s1) [s2](#src-s2)

Модель принимает текстовое состояние и вопросы `choice` (выбор), `score` (упорядоченная оценка) и `noul` (да/нет). Например, можно локально определить отдел для жалобы на двойное списание и отдельно отметить запрос возврата. У модели английский исходный чекпойнт; обучающие сценарии — обработка счетов, поддержка, инциденты безопасности и наблюдаемость агентов. На произвольных задачах автор исходной модели не обещает той же точности. [s1](#src-s1) [s3](#src-s3)

## Как проверить у себя

Публичная ветка `shreyaskarnik/open-jev` с закреплённым коммитом `baefb88e7285cde8b7d3f2aa91b1d6f297c5a282` содержит адаптер `src/laya.ts`, alias `laya-typed-decisions` и пример `OpenJev.load({ model: "laya-typed-decisions" })` с `choice`, `score`, `noul`. Проект указывает `@huggingface/transformers` как peer dependency версии не ниже 4.3.0 и заявляет WebGPU с запасным WebAssembly. Если воспроизводите пример, ориентируйтесь **именно на эту ветку/коммит**, а не предполагайте, что установленная версия npm уже включает изменение; наличие релиза пакета с этой поддержкой отдельно не подтверждено. Установите зависимости по документации ветки, загрузите FP16-вариант и проверьте ответы на собственном наборе английских обращений с размеченными вариантами. Для использования в продукте контролируйте загрузку внешнего файла весов, время первого запуска и качество на целевом браузере. Modelium не запускал граф и не измерял скорость на своих устройствах. [s1](#src-s1) [s4](#src-s4) [s5](#src-s5)

## Что показывают замеры автора — и чего они не доказывают

Автор ONNX-конверсии сообщает о совпадении токенов в 15 парных случаях с Python-референсом; для FP32 максимальное расхождение вероятностей меньше 0,0001, для FP16 — 0,006, без смены лидирующего ответа. На тестовой части `typed-decisions` (400 состояний и 2 000 вопросов) он получил 76,8% точности и медиану 0,97 секунды на состояние для FP16 через WebGPU на M3 Pro; FP32 — те же 76,8% и 1,33 секунды. Это **авторские**, а не независимые измерения и не гарантии скорости на другом устройстве. Исходная модель обучалась на тренировочной части того же набора, поэтому тест относится к её узкой предметной области. [s1](#src-s1) [s3](#src-s3)

Важно: карточка ONNX называет выдачу «calibrated distribution», но карточка создателей **исходного чекпойнта** прямо говорит о переуверенности и о том, что параметры температуры частично подбирались на обучающих данных; температуру по числу вариантов унаследовали от базовой модели. Не представляйте выдаваемые проценты как проверенную вероятность для решений о выплатах или безопасности: перед применением нужен собственный отложенный набор, измерение калибровки и, при необходимости, перенастройка. Сравнение с Jev в исходной карточке выполнено по сторонним результатам с отличающимися выборками и промптами, поэтому не служит независимым превосходством ONNX-экспорта. [s1](#src-s1) [s3](#src-s3)

**Практический выбор:** если требуется автономная типизированная классификация в браузере, проверьте закреплённую FP16-конверсию и публичную ветку runtime на своих текстах. Если нужны русскоязычные вопросы, эта англоязычная специализированная версия не является доказанным выбором; для других языков проверяйте отдельную мультиязычную модель и её лицензию/точность. Оба репозитория модели размечены Apache-2.0, репозиторий open-jev — MIT; открытые веса и лицензия не означают подтверждённого качества или полностью готовой production-интеграции. [s1](#src-s1) [s3](#src-s3) [s4](#src-s4)

## Источники

1. [onnx-community: Laya Typed-Decisions ONNX pinned card](https://huggingface.co/onnx-community/laya-typed-decisions-ONNX/blob/79c441b22da79eb3727bb01e8452e29a32cfa548/README.md) — получено 2026-09-30
2. [Hugging Face pinned revision and full manifest of ONNX files](https://huggingface.co/api/models/onnx-community/laya-typed-decisions-ONNX/revision/79c441b22da79eb3727bb01e8452e29a32cfa548?blobs=true) — получено 2026-09-30
3. [Convai Innovations: original Laya Typed-Decisions card and limitations](https://huggingface.co/convaiinnovations/laya-typed-decisions/blob/1a793eb568e6718f15941d08f85432581df534e3/README.md) — получено 2026-09-30
4. [open-jev laya-family pinned branch README and adaptation](https://github.com/shreyaskarnik/open-jev/tree/baefb88e7285cde8b7d3f2aa91b1d6f297c5a282) — получено 2026-09-30
5. [open-jev package manifest at laya-family commit](https://github.com/shreyaskarnik/open-jev/blob/baefb88e7285cde8b7d3f2aa91b1d6f297c5a282/package.json) — получено 2026-09-30