ONNX Runtime WebGPU Plugin 0.5.0: что меняется для локальных моделей

Что выпустила Microsoft?

ONNX — формат файлов модели, ONNX Runtime — программа, которая выполняет её вычисления. WebGPU Plugin EP — отдельное дополнение, позволяющее такому приложению направлять часть вычислений на видеокарту через WebGPU. Версия 0.5.0 опубликована как стабильный релиз; Python-пакеты доступны для Windows x64/arm64, Linux x64/arm64 и macOS. Плагин не содержит весов модели, не заменяет сам ONNX Runtime и не превращает любую модель автоматически в работающий на GPU чат. s1s2s3

В релизе добавлены операции для некоторых архитектур с механизмами внимания и «экспертами» — частями модели, из которых на каждом шаге выбирается нужная. Также расширена обработка отдельных сжатых весов, включая INT2 и FP8, и исправлены ошибки доступа к памяти и вычислений. Это может помочь разработчику перенести больше частей совместимой модели на GPU, но в заметке нет независимого сравнения скорости готового приложения и нет гарантии поддержки конкретной модели. s1

Отдельное изменение касается видеокарт AMD: в плагине разрешены определённые матричные операции WebGPU. Автор изменения проверил этот путь на Radeon RX 9070 XT в Windows с тестовым драйвером и указанным набором компонентов. Это проверка конкретной конфигурации автора, не обещание ускорения на любой AMD-карте и не минимальное требование к железу. s1s5

Кому обновление действительно нужно?

Если вы разрабатываете или сопровождаете приложение с ONNX Runtime WebGPU Plugin, проверьте версию самого ONNX Runtime и совместимость программы с плагином, затем планируйте обновление и тест на своей модели. В README указан минимум ONNX Runtime 1.24.4, но режим одновременной работы независимых сеансов доступен только с 1.28.3 в ветке 1.28, с 1.30.1 в ветке 1.30 и с 1.31.0; другие поддерживаемые версии работают в последовательном режиме. Для 1.26.0 авторы отдельно сообщают о несовместимости при регистрации плагина. Это важнее, чем просто совпадение номера пакета. s1s2s6

Python-пакет 0.5.0 уже есть в PyPI, однако он устанавливается в дополнение к ONNX Runtime, а не вместо него. Разработчику нужно проверить обнаружение видеокарты, загрузку своей модели и фактический ответ приложения после обновления. На Linux может понадобиться системный загрузчик Vulkan. Редакция Modelium не запускала плагин и не измеряла скорость: это описание по релизу, исходному README и опубликованным пакетам, а не воспроизведённый рецепт. s2s3s4

Что остаётся за рамками обновления?

Плагин распространяется с кодом под MIT, но права на веса выбранной модели нужно проверять отдельно. Релиз не меняет лицензию модели и не означает, что любой ONNX-файл заработает на каждой видеокарте. Для обычного пользователя разумный следующий шаг — сначала выяснить, использует ли его приложение именно этот плагин; если нет, ничего менять не нужно. Для разработчика важна проверка своей модели и совместимости версий. s2s4

Если вы выбираете базовую версию ONNX Runtime, см. разбор ONNX Runtime 1.31.0. Это отдельный релиз ядра, а не инструкция по установке WebGPU-плагина.

Первоисточники: релиз Microsoft, README и LICENSE на закреплённом теге, пакеты PyPI и описание проверки AMD. s1s2s3s4s5