Julia 1 вышла в ONNX для WebGPU: локальные решения в браузере

Что можно сделать локально

Julia 1 получает состояние, вопрос и 2–20 заранее заданных ответов и возвращает выбранный индекс и вероятности. Для логического типа noul вариантов ровно два, в порядке false/true. Это специализированный выбор для маршрутизации заявки или классификации по явным критериям, не чат-модель и не генератор свободного текста. Для примера: текст обращения о двойном списании можно передать с вариантами «платежи», «доставка», «доступ к аккаунту», а решение использовать как предварительную подсказку оператору, не как автоматическую финансовую операцию. s3 s4

Пакет включает model.onnx и отдельный файл весов model.onnx.data (576 782 336 байт), Rust/WASM-токенизатор, index.js и playground.html. Адаптер создаёт сеанс ONNX Runtime WebGPU, прогревает его и повторно использует для запросов. Если файлы обслуживаются локально, само вычисление остаётся в браузере; первая загрузка требует получить артефакты из выбранного вами источника. Нужен браузер с WebGPU; размер файла не равен минимальной потребности в памяти GPU. s1 s3 s5

Для ознакомления авторы предлагают скачать полный репозиторий, выполнить в нём npm install, затем npm run dev и открыть playground.html по локальному адресу Vite. Модель загружается отдельной кнопкой после открытия страницы; model.onnx и model.onnx.data должны лежать вместе. Публичное включение в рабочий процесс потребует вашей проверки доставки файлов, ресурсов устройства и результатов на собственных заявках. Modelium этот запуск на устройстве не проводил. s3 s6

Как читать цифры авторов

В приложенном авторском измерении — Brave на Linux, 100 запросов батчами по четыре, пять прогретых проходов — медиана составляет 7,55 с на сотню решений; 100 из 100 выбранных вариантов совпали с исходным PyTorch на этом наборе. Это проверка согласованности экспорта, не независимый тест точности и не контролируемое сравнение скорости с CPU на одинаковом оборудовании. При близких логитах результат может различаться из-за округления. s3 s7

Карточка исходной Julia 1 сообщает о 73,15% правильных typed decisions (1463 из 2000 вопросов в 400 случаях), 94/100 на пилоте AG News, 86/100 на Emotion и 64/100 на Banking77 с сокращённым списком меток. Эти числа относятся к исходному Python/CUDA BF16-чекпойнту, а не к повторному измерению WebGPU; предоставленные сравнения с Jev также не являются новой независимой прогонкой Jev. Разные наборы и знаменатели не следует смешивать. Для новой задачи сначала соберите свою выборку с правильными вариантами и оцените промахи и ложную уверенность. s4 s8

Ограничения и лицензия

Код браузерного адаптера по умолчанию задаёт maxLength=1024 и headLength=256 со строгим кодированием; описание исходного Python-движка упоминает поддержку до 8192 токенов. Не переносите этот предел автоматически на пример запуска WebGPU и не считайте длинный контекст проверенным по авторскому браузерному замеру. Для большого числа меток нужен отдельный алгоритм отбора; один вызов модели ограничен 20 вариантами. s3 s4 s5

Оба репозитория на Hugging Face помечены Apache-2.0 для опубликованных артефактов; самостоятельного файла LICENSE в зафиксированном дереве ONNX-пакета нет, а обучающий конвейер Julia 1 не опубликован. Это открытые веса и исходники для инференса, но не полный открытый процесс обучения; перед коммерческой интеграцией проверьте права и обязанности по лицензиям зависимостей отдельно. Машинный provenance.json содержит quality_gate: false без объяснения значения флага, поэтому не следует выдавать артефакт за производственно аттестованный. s1 s3 s4 s9

Выбор: если нужен недорогой локальный классификатор с фиксированным набором вариантов и браузер действительно поддерживает WebGPU, протестируйте этот ONNX-пакет на собственных обращениях; для CPU или CUDA у авторов есть отдельный Python-репозиторий. Не внедряйте выбор в чувствительные решения без собственного датасета и ручного контроля ошибок. s3 s4