ONNX Runtime 1.31.0: быстрее подготовка моделей на CPU и выбор Neural Engine

9 октября Microsoft выпустила ONNX Runtime 1.31.0 — библиотеку, которую другие программы используют для запуска моделей на своём компьютере. Для человека с локальным ИИ это прежде всего обновление движка внутри приложения, а не новая модель или отдельная программа для чата. Если ваше приложение пока не перешло на 1.31.0, его поведение от этого релиза не изменится. s1

Что изменится при запуске на компьютере?

При загрузке некоторых моделей на обычном процессоре библиотека может параллельно подготовить их веса к вычислениям. Это сокращает именно подготовку к работе в подходящих сценариях; Microsoft не даёт общего обещания ускорить каждый ответ модели. Для моделей с блоковой 4- или 8-битной упаковкой экспертов MoE (модель выбирает для каждого запроса лишь часть своих компонентов) добавлен более быстрый путь вычислений на CPU. Результат зависит от того, использует ли конкретная модель эти операции. s1 s3 s4

На поддерживаемых устройствах Apple разработчик может выбирать Core ML, в том числе Apple Neural Engine, через общий механизм выбора вычислительного устройства. Для выбора NPU — специального блока для задач ИИ — в примечаниях указаны iOS 16 или macOS 13 и новее. Это возможность для приложения, а не обещание, что любая ONNX-модель заработает на Neural Engine или станет быстрее. s1 s5

Нужно ли что-то делать сейчас?

Если вы просто пользуетесь программой с локальной моделью, вручную менять её внутреннюю библиотеку не нужно: дождитесь обновления самого приложения. Например, если установленная программа отвечает на ваши запросы к своей модели, после обновления программы сравните на одном и том же запросе время до первого ответа и сам ответ; различие в скорости и качестве без такого сравнения утверждать нельзя. Это рекомендация по проверке, а не результат теста Modelium.

Если вы создаёте приложение на ONNX Runtime, это технический релиз для вас: проверьте модели на 1.31.0 и прочтите замечания о совместимости. API пакетов моделей переведён из экспериментального в стабильный, поэтому старому коду может потребоваться переход. Для GPU-плагинов команда рекомендует согласовывать версию ядра и плагина из одной ревизии — несовпадение схем операций способно привести к ошибкам и сбоям. s1

Что доступно и каковы ограничения?

В официальном выпуске лежат готовые сборки для Windows, macOS на Apple Silicon и Linux, включая отдельные варианты Linux/Windows с CUDA; это библиотека, не веса моделей. Исходный код ONNX Runtime распространяется по MIT, но права на конкретную загружаемую модель нужно проверять отдельно. Проверка Modelium здесь основана на документации и артефактах релиза; запуск модели и замеры на собственном железе не проводились. s1 s2

Если ищете не библиотеку для разработчиков, а пример готового локального применения ONNX-модели, начните с модели для озвучивания английского текста. s1