# ONNX Runtime 1.31.0: быстрее подготовка моделей на CPU и выбор Neural Engine

Источник: https://modelium.tech/zhurnal/onnx-runtime-1-31-0-cpu-apple-neural-engine-local-models/

9 октября вышла ONNX Runtime 1.31.0 — библиотека, через которую приложения запускают модели на вашем устройстве. Обновление ускоряет подготовку части моделей на процессоре и даёт разработчикам более удобный выбор Neural Engine на Apple. Само по себе обновление не ускорит любую модель: приложение должно использовать новую версию и подходящий формат модели.

9 октября Microsoft выпустила ONNX Runtime 1.31.0 — библиотеку, которую другие программы используют для запуска моделей на своём компьютере. Для человека с локальным ИИ это прежде всего обновление *движка внутри приложения*, а не новая модель или отдельная программа для чата. Если ваше приложение пока не перешло на 1.31.0, его поведение от этого релиза не изменится. [s1](#src-s1)

## Что изменится при запуске на компьютере?

При загрузке некоторых моделей на обычном процессоре библиотека может параллельно подготовить их веса к вычислениям. Это сокращает именно подготовку к работе в подходящих сценариях; Microsoft не даёт общего обещания ускорить каждый ответ модели. Для моделей с блоковой 4- или 8-битной упаковкой экспертов MoE (модель выбирает для каждого запроса лишь часть своих компонентов) добавлен более быстрый путь вычислений на CPU. Результат зависит от того, использует ли конкретная модель эти операции. [s1](#src-s1) [s3](#src-s3) [s4](#src-s4)

На поддерживаемых устройствах Apple разработчик может выбирать Core ML, в том числе Apple Neural Engine, через общий механизм выбора вычислительного устройства. Для выбора NPU — специального блока для задач ИИ — в примечаниях указаны iOS 16 или macOS 13 и новее. Это *возможность для приложения*, а не обещание, что любая ONNX-модель заработает на Neural Engine или станет быстрее. [s1](#src-s1) [s5](#src-s5)

## Нужно ли что-то делать сейчас?

Если вы просто пользуетесь программой с локальной моделью, вручную менять её внутреннюю библиотеку не нужно: дождитесь обновления самого приложения. Например, если установленная программа отвечает на ваши запросы к своей модели, после обновления программы сравните на одном и том же запросе время до первого ответа и сам ответ; различие в скорости и качестве без такого сравнения утверждать нельзя. Это рекомендация по проверке, а не результат теста Modelium.

Если вы создаёте приложение на ONNX Runtime, это технический релиз для вас: проверьте модели на 1.31.0 и прочтите замечания о совместимости. API пакетов моделей переведён из экспериментального в стабильный, поэтому старому коду может потребоваться переход. Для GPU-плагинов команда рекомендует согласовывать версию ядра и плагина из одной ревизии — несовпадение схем операций способно привести к ошибкам и сбоям. [s1](#src-s1)

## Что доступно и каковы ограничения?

В официальном выпуске лежат готовые сборки для Windows, macOS на Apple Silicon и Linux, включая отдельные варианты Linux/Windows с CUDA; это библиотека, **не веса моделей**. Исходный код ONNX Runtime распространяется по MIT, но права на конкретную загружаемую модель нужно проверять отдельно. Проверка Modelium здесь основана на документации и артефактах релиза; запуск модели и замеры на собственном железе не проводились. [s1](#src-s1) [s2](#src-s2)

Если ищете не библиотеку для разработчиков, а пример готового локального применения ONNX-модели, начните с [модели для озвучивания английского текста](/zhurnal/paradee-8m-onnx-local-cpu-english-tts/). [s1](#src-s1)

## Источники

1. [Microsoft ONNX Runtime v1.31.0 — официальный релиз](https://github.com/microsoft/onnxruntime/releases/tag/v1.31.0) — получено 2026-10-09
2. [ONNX Runtime LICENSE на теге v1.31.0](https://github.com/microsoft/onnxruntime/blob/v1.31.0/LICENSE) — получено 2026-10-09
3. [Microsoft ONNX Runtime PR #31691 — parallel weight prepacking](https://github.com/microsoft/onnxruntime/pull/31691) — получено 2026-10-09
4. [Microsoft ONNX Runtime PR #32644 — CPU QMoE INT4/INT8](https://github.com/microsoft/onnxruntime/pull/32644) — получено 2026-10-09
5. [Microsoft ONNX Runtime PR #31975 — CoreML device selection](https://github.com/microsoft/onnxruntime/pull/31975) — получено 2026-10-09