Перейти к содержанию
modelium.
Начать с задачи
←
Новость

ONNX Runtime CUDA Plugin 0.3.0: новые операции и риск несовместимости

На странице · 2 разделов

9 октября Microsoft выпустила CUDA Plugin EP 0.3.0 — отдельную часть ONNX Runtime для вычислений на поддерживаемых видеокартах NVIDIA. Разработчики получили операции для выборочной обработки истории запроса и некоторых сжатых моделей. Пользователю обычного приложения вручную устанавливать плагин не нужно; несовпадение его сборки с основным движком может привести к неверному результату или сбою.

9 октября Microsoft выпустила CUDA Plugin EP 0.3.0 — отдельную часть ONNX Runtime, библиотеки, через которую приложения запускают модели на устройстве. CUDA здесь означает вычисления на поддерживаемой видеокарте NVIDIA. Для обычного пользователя это не новая модель и не самостоятельная программа: если вы общаетесь с моделью в готовом приложении, дождитесь обновления самого приложения, а не пытайтесь менять его внутренние компоненты. Это инженерная новость, не инструкция для домашней установки. s1 s2

Что нового для локальных моделей?

Плагин добавил операции разреженного внимания: модель может обращаться к выбранным фрагментам истории запроса, а не обрабатывать её всю одинаково. В примечаниях Microsoft отдельно названы сценарии Qwen4-Exp QSA и DeepSeek V4 CSA. Это поддержка операций для совместимых приложений и моделей, не подтверждение, что указанные модели уже запускаются в любом ONNX-приложении. Изменения также касаются обслуживания нескольких запросов и некоторых моделей MoE — моделей, которые для ответа выбирают часть своих блоков. Появились пути вычисления для сжатых 2- и 4-битных вариантов при оговорённых разработчиками условиях. s1 s4

Выпущены отдельные архивы плагина для части сочетаний CUDA 12/13, Linux и Windows; набор платформ отличается между сборками. Исходный код ONNX Runtime распространяется по MIT License, но эта лицензия не определяет права на веса какой-либо модели, которую будут запускать через плагин. Новых весов Microsoft этим выпуском не объявляла. Скорость и качество на пользовательском компьютере Modelium не измерял. s1 s3

Почему нельзя просто добавить плагин к старой версии ONNX Runtime?

Microsoft называет ONNX Runtime 1.24.4 минимальной версией основного движка, но прямо предупреждает: одного соблюдения минимума недостаточно. Если основной движок и плагин по-разному понимают состав операции модели, возможны неверные ответы или аварийное завершение. Согласованная версия для этого выпуска — ONNX Runtime 1.31.0; разработчикам рекомендовано собирать оба компонента из одной ревизии проекта. Это важнее, чем просто увидеть успешную регистрацию плагина. s1 s2 s5

Если вы разрабатываете локальное приложение на ONNX Runtime, сначала сверяйте пару версий core и CUDA-плагина, затем сравнивайте вывод своей ONNX-модели на небольшом контрольном примере до и после обновления. Для пользователя готового приложения основной шаг один: обновлять приложение через его обычный канал, а не устанавливать отдельный архив вручную. Мы не проводили запуск плагина или тест производительности; наличие подходящей видеокарты, модели и сборки нужно проверять в вашем конкретном приложении.

Подробности общего релиза ONNX Runtime 1.31.0, включая изменения для центрального процессора и Apple Neural Engine, — в отдельной новости Modelium.

Источники