# Foundry Local 2.1.0: свои ONNX-модели в локальном каталоге и текстовые инструменты

Источник: https://modelium.tech/zhurnal/foundry-local-2-1-0-byom-onnx-local-models/

30 сентября 2026 года Microsoft выпустила стабильный Foundry Local 2.1.0. Главное изменение — регистрация уже имеющейся локальной модели ONNX Runtime GenAI в собственном каталоге без копирования её файлов. SDK также расширил вызов инструментов и исправил отмену потоковых запросов. Это обновление движка, не выпуск новых весов: совместимость формата и права на конкретную модель проверяются отдельно.

Microsoft опубликовала стабильный **Foundry Local 2.1.0** 30 сентября 2026 года. В центре выпуска — BYOM (*bring your own model*): в локальный каталог SDK можно зарегистрировать уже лежащую на устройстве модель в формате ONNX Runtime GenAI, не копируя и не скачивая её файлы повторно. Официальный релиз также перечисляет поддержку текстовых аргументов инструментов, улучшения вызова инструментов Qwen и исправления отмены запросов. Это обновление локального runtime, а не новый набор весов или доказательство ускорения любой модели. [s1](#src-s1)

## Что практически меняется с BYOM

Раньше основной путь Foundry Local проходил через каталог отобранных моделей. В 2.1.0 собственную модель можно включить в **локальный** каталог и затем использовать те же механизмы обнаружения, загрузки и сессий SDK. Возможность заявлена для C++, C#, Python, JavaScript/TypeScript и Rust. Регистрация не передаёт право собственности на файлы и не удаляет их при отмене регистрации. Она сама по себе не означает, что любой репозиторий Hugging Face, GGUF или Safetensors непосредственно заработает: требуется подготовленная директория **ONNX Runtime GenAI**. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

Для Python документация закреплённого тега описывает три условия: в директории есть `genai_config.json`, ID имеет вид `<name>:<version>`, а метаданные `task` содержат одно из значений `chat-completion`, `vision-language-chat`, `embeddings`, `automatic-speech-recognition`. SDK устанавливается как `foundry-local-sdk`; собственный каталог получают через `manager.get_catalog(CatalogType.LOCAL)`, а регистрацию выполняют через `register_model(model_path, model_id, metadata)` с `ModelInfoBuilder`. Сначала проверьте совместимость собственной ONNX GenAI-сборки и права на её использование; затем регистрируйте её и проводите реальный пробный инференс на целевом устройстве. [s2](#src-s2)

В репозитории есть тест регистрации и отмены регистрации, который проверяет сохранность исходных файлов. В нём **не загружается модель и не выполняется инференс**. Поэтому из прохождения такого теста нельзя заключить, что любой импортированный чекпойнт работает на нужном CPU, GPU или NPU. Modelium этот выпуск локально не запускал. [s3](#src-s3)

## Инструменты и надёжность сессий

Релиз добавляет текстовые пользовательские инструменты для Chat Completions, Responses API, нативных сессий и C ABI: аргумент может быть сырым текстом, например патчем, а не обязательно объектом JSON. В Python SDK есть отдельный метод `add_custom_tool_definition` для имени и описания такого инструмента. Для Qwen авторы заявляют более устойчивое автоматическое распознавание вызовов инструментов, включая значения enum и восстановление некорректных вызовов; это заявление об исправлениях, а не независимый тест качества агентного сценария. [s1](#src-s1) [s2](#src-s2)

По release notes серверный SSE-инференс отменяется при разрыве связи клиента, восстановлена отмена загрузки модели, обновлён ONNX Runtime GenAI до 0.17.1 и исправлены отдельные случаи подсчёта токенов, потоковых callback, лимитов ответа и параметров семплирования. У релиза нет воспроизводимых сравнительных измерений скорости, поэтому обещать прирост производительности для вашего устройства нельзя. [s1](#src-s1)

## Где граница локальности и лицензии

SDK может работать внутри приложения без отдельного сервера; HTTP-сервер доступен как опция. Сами данные инференса обрабатываются локально, но официальные сборки, согласно документации Microsoft, **по умолчанию включают телеметрию**; несущественную телеметрию можно отключить настройкой `disable_nonessential_telemetry=True` или переменной `ORT_TELEMETRY_DISABLED=1` до инициализации менеджера. Перед внедрением в чувствительной среде проверьте также сетевые настройки и действующую политику сбора данных. [s4](#src-s4) [s5](#src-s5)

Не смешивайте права: SDK Foundry Local в теге 2.1.0 распространяется по MIT, CLI — на отдельных условиях Microsoft, а **каждая модель** подчиняется собственной лицензии. MIT-код SDK не даёт автоматического права коммерческого использования или распространения сторонних весов. Сам проект описывает Foundry Local прежде всего как решение для приложений на устройстве одного пользователя, а не как высоконагруженный многопользовательский сервер наподобие vLLM. [s4](#src-s4) [s5](#src-s5)

**Кому обновляться:** командам, у которых уже есть совместимый ONNX Runtime GenAI-пакет и которым важно использовать его через единый локальный каталог, или тем, кто строит агента с текстовыми аргументами инструментов. Если рабочий стек основан на GGUF и llama.cpp, BYOM из этого релиза не заявляет прямой поддержки такого формата: сохраняйте текущий движок либо отдельно конвертируйте и проверяйте модель. [s1](#src-s1) [s2](#src-s2)

## Источники

1. [Microsoft Foundry Local v2.1.0 — официальный релиз](https://github.com/microsoft/Foundry-Local/releases/tag/v2.1.0) — получено 2026-09-30
2. [Foundry Local Python SDK v2 README at v2.1.0](https://github.com/microsoft/Foundry-Local/blob/v2.1.0/sdk_v2/python/README.md) — получено 2026-09-30
3. [BYOM tests at v2.1.0](https://github.com/microsoft/Foundry-Local/blob/v2.1.0/sdk_v2/python/test/integration/test_byom.py) — получено 2026-09-30
4. [Foundry Local v2.1.0 README and license](https://github.com/microsoft/Foundry-Local/blob/v2.1.0/README.md) — получено 2026-09-30
5. [Microsoft Foundry Local privacy and telemetry at v2.1.0](https://github.com/microsoft/Foundry-Local/blob/v2.1.0/sdk_v2/cpp/docs/Privacy.md) — получено 2026-09-30
