Foundry Local 2.1.0: свои ONNX-модели в локальном каталоге и текстовые инструменты

Что практически меняется с BYOM

Раньше основной путь Foundry Local проходил через каталог отобранных моделей. В 2.1.0 собственную модель можно включить в локальный каталог и затем использовать те же механизмы обнаружения, загрузки и сессий SDK. Возможность заявлена для C++, C#, Python, JavaScript/TypeScript и Rust. Регистрация не передаёт право собственности на файлы и не удаляет их при отмене регистрации. Она сама по себе не означает, что любой репозиторий Hugging Face, GGUF или Safetensors непосредственно заработает: требуется подготовленная директория ONNX Runtime GenAI. s1 s2 s3

Для Python документация закреплённого тега описывает три условия: в директории есть genai_config.json, ID имеет вид <name>:<version>, а метаданные task содержат одно из значений chat-completion, vision-language-chat, embeddings, automatic-speech-recognition. SDK устанавливается как foundry-local-sdk; собственный каталог получают через manager.get_catalog(CatalogType.LOCAL), а регистрацию выполняют через register_model(model_path, model_id, metadata) с ModelInfoBuilder. Сначала проверьте совместимость собственной ONNX GenAI-сборки и права на её использование; затем регистрируйте её и проводите реальный пробный инференс на целевом устройстве. s2

В репозитории есть тест регистрации и отмены регистрации, который проверяет сохранность исходных файлов. В нём не загружается модель и не выполняется инференс. Поэтому из прохождения такого теста нельзя заключить, что любой импортированный чекпойнт работает на нужном CPU, GPU или NPU. Modelium этот выпуск локально не запускал. s3

Инструменты и надёжность сессий

Релиз добавляет текстовые пользовательские инструменты для Chat Completions, Responses API, нативных сессий и C ABI: аргумент может быть сырым текстом, например патчем, а не обязательно объектом JSON. В Python SDK есть отдельный метод add_custom_tool_definition для имени и описания такого инструмента. Для Qwen авторы заявляют более устойчивое автоматическое распознавание вызовов инструментов, включая значения enum и восстановление некорректных вызовов; это заявление об исправлениях, а не независимый тест качества агентного сценария. s1 s2

По release notes серверный SSE-инференс отменяется при разрыве связи клиента, восстановлена отмена загрузки модели, обновлён ONNX Runtime GenAI до 0.17.1 и исправлены отдельные случаи подсчёта токенов, потоковых callback, лимитов ответа и параметров семплирования. У релиза нет воспроизводимых сравнительных измерений скорости, поэтому обещать прирост производительности для вашего устройства нельзя. s1

Где граница локальности и лицензии

SDK может работать внутри приложения без отдельного сервера; HTTP-сервер доступен как опция. Сами данные инференса обрабатываются локально, но официальные сборки, согласно документации Microsoft, по умолчанию включают телеметрию; несущественную телеметрию можно отключить настройкой disable_nonessential_telemetry=True или переменной ORT_TELEMETRY_DISABLED=1 до инициализации менеджера. Перед внедрением в чувствительной среде проверьте также сетевые настройки и действующую политику сбора данных. s4 s5

Не смешивайте права: SDK Foundry Local в теге 2.1.0 распространяется по MIT, CLI — на отдельных условиях Microsoft, а каждая модель подчиняется собственной лицензии. MIT-код SDK не даёт автоматического права коммерческого использования или распространения сторонних весов. Сам проект описывает Foundry Local прежде всего как решение для приложений на устройстве одного пользователя, а не как высоконагруженный многопользовательский сервер наподобие vLLM. s4 s5

Кому обновляться: командам, у которых уже есть совместимый ONNX Runtime GenAI-пакет и которым важно использовать его через единый локальный каталог, или тем, кто строит агента с текстовыми аргументами инструментов. Если рабочий стек основан на GGUF и llama.cpp, BYOM из этого релиза не заявляет прямой поддержки такого формата: сохраняйте текущий движок либо отдельно конвертируйте и проверяйте модель. s1 s2