# LocalAI 4.10.0: приватные источники моделей и локальный бенчмарк

Источник: https://modelium.tech/zhurnal/localai-4-10-0-private-models-benchmark/

17 сентября 2026 года вышел стабильный LocalAI 4.10.0. Обновление добавляет единый файл учётных данных для приватных OCI-реестров, галерей и загрузок, команду local-ai benchmark для измерения сквозной скорости локальных текстовых моделей и обзор состояния распределённых узлов. Это релиз движка, а не новых весов: лицензия MIT относится к LocalAI, условия каждой загружаемой модели нужно проверять отдельно. Приведённые в релизе возможности и исправления не проверялись Modelium на собственном оборудовании.

LocalAI 4.10.0: приватные модели, бенчмарк и управление узлами

**17 сентября 2026 года** разработчики выпустили стабильный LocalAI 4.10.0. Это обновление сервера локального инференса, а не новый выпуск модельных весов. Практический интерес — настройка закрытых источников моделей и сравнение производительности уже настроенных текстовых моделей без отправки запросов во внешний сервис. Релиз имеет собственные бинарные пакеты для Linux и macOS; для запуска самих моделей понадобятся совместимые бэкенды и веса. [s1](#src-s1)

## Приватные источники без токенов в конфигурации модели

Новый `--credentials-file` или `LOCALAI_CREDENTIALS_FILE` указывает на YAML-файл правил авторизации. Правило сопоставляется с префиксом URL и задаёт один метод: basic, bearer либо пользовательский заголовок. Значения можно читать из переменной окружения или файла. По описанию разработчиков, механизм охватывает OCI-реестры, HTTP-загрузки, галереи и адреса `github:`; секреты считываются при использовании, чтобы обновление файла секрета не требовало перезапуска. Это важно, когда локальный сервер берёт веса из корпоративного реестра, а не из публичной галереи. [s1](#src-s1) [s4](#src-s4)

Не переносите этот механизм на вывод о правах на веса: MIT-лицензия исходного кода LocalAI разрешает коммерческое использование программы, но лицензия каждого модельного репозитория и доступ к приватным файлам остаются отдельными вопросами. Не храните реальные токены в опубликованных YAML-примерах. [s3](#src-s3)

## Как сравнить собственные конфигурации

Команда `local-ai benchmark MODEL` посылает последовательные запросы к **уже работающему** серверу через `/v1/chat/completions`. Модель нужно предварительно установить и настроить: имя бэкенда само по себе не является именем модели. Например, при уже заданном локальном alias `my-text-model` используйте `local-ai benchmark my-text-model --runs 5 --warmup 1 --max-tokens 128`. Для сравнения двух бэкендов создайте два alias и передайте оба имени. Это пример синтаксиса из документации, а не подтверждение запуска в Modelium. [s2](#src-s2)

Утилита сообщает минимальную, среднюю и максимальную задержку, а также сквозную скорость в completion tokens/s. Она считает полную длительность запроса: сетевой путь, очередь, обработку промпта и генерацию. **Это не скорость чистого декодирования и не time-to-first-token.** По умолчанию предусмотрены один прогревочный и три измеряемых запроса; в JSON доступен результат каждого замера. Если ответ сервера не содержит числа completion-токенов, скорость остаётся неопределённой, а не оценивается по длине строки. Сравнивайте при одинаковых промпте, длине контекста, квантовании, настройках и нагрузке; прогрев может скрыть холодную загрузку модели. [s1](#src-s1) [s2](#src-s2)

## Что изменилось ещё и кому обновляться

Для нескольких локальных узлов появился обзор состояния кластера: здоровье узлов, память и CPU, размещение запущенных реплик и массовые операции обслуживания. Для одиночного компьютера этот интерфейс вторичен; полезнее новая команда измерения и конфигурация приватных загрузок. Релиз также заявляет исправление аварийного запуска на Apple M5 и обработку поздних system-сообщений в Qwen3.x через **явную** настройку `template.system_messages_after_first`; значение по умолчанию не меняет поведение шаблона. Это заявления релизных примечаний, не независимые тесты редакции. [s1](#src-s1)

**Следующий шаг:** если у вас уже работает LocalAI с текстовой моделью, зафиксируйте версию 4.10.0, бэкенд, модель, квантование, железо и контекст, затем сравните alias на одном и том же запросе с `local-ai benchmark`. Если сервер использует приватные репозитории, перенесите учётные данные в защищённый файл и проверьте права доступа и политику редиректов перед подключением к рабочему реестру. Не считайте размер скачанных весов требованием к RAM/VRAM: оно зависит от бэкенда, контекста и конфигурации. [s1](#src-s1) [s2](#src-s2)

## Источники

1. [mudler/LocalAI: стабильный релиз v4.10.0](https://github.com/mudler/LocalAI/releases/tag/v4.10.0) — получено 2026-09-28
2. [LocalAI v4.10.0: Benchmark text models](https://github.com/mudler/LocalAI/blob/v4.10.0/docs/content/features/benchmark.md) — получено 2026-09-28
3. [LocalAI v4.10.0: лицензия MIT](https://github.com/mudler/LocalAI/blob/v4.10.0/LICENSE) — получено 2026-09-28
4. [LocalAI v4.10.0: обработка файла credentials](https://github.com/mudler/LocalAI/blob/v4.10.0/core/cli/credentials.go) — получено 2026-09-28