Перейти к содержанию
modelium.
Начать с задачи
←
Новость

LocalAI 4.10.0: приватные источники моделей и локальный бенчмарк

На странице · 3 разделов

17 сентября 2026 года вышел стабильный LocalAI 4.10.0. Обновление добавляет единый файл учётных данных для приватных OCI-реестров, галерей и загрузок, команду local-ai benchmark для измерения сквозной скорости локальных текстовых моделей и обзор состояния распределённых узлов. Это релиз движка, а не новых весов: лицензия MIT относится к LocalAI, условия каждой загружаемой модели нужно проверять отдельно. Приведённые в релизе возможности и исправления не проверялись Modelium на собственном оборудовании.

LocalAI 4.10.0: приватные модели, бенчмарк и управление узлами

17 сентября 2026 года разработчики выпустили стабильный LocalAI 4.10.0. Это обновление сервера локального инференса, а не новый выпуск модельных весов. Практический интерес — настройка закрытых источников моделей и сравнение производительности уже настроенных текстовых моделей без отправки запросов во внешний сервис. Релиз имеет собственные бинарные пакеты для Linux и macOS; для запуска самих моделей понадобятся совместимые бэкенды и веса. s1

Приватные источники без токенов в конфигурации модели

Новый --credentials-file или LOCALAI_CREDENTIALS_FILE указывает на YAML-файл правил авторизации. Правило сопоставляется с префиксом URL и задаёт один метод: basic, bearer либо пользовательский заголовок. Значения можно читать из переменной окружения или файла. По описанию разработчиков, механизм охватывает OCI-реестры, HTTP-загрузки, галереи и адреса github:; секреты считываются при использовании, чтобы обновление файла секрета не требовало перезапуска. Это важно, когда локальный сервер берёт веса из корпоративного реестра, а не из публичной галереи. s1 s4

Не переносите этот механизм на вывод о правах на веса: MIT-лицензия исходного кода LocalAI разрешает коммерческое использование программы, но лицензия каждого модельного репозитория и доступ к приватным файлам остаются отдельными вопросами. Не храните реальные токены в опубликованных YAML-примерах. s3

Как сравнить собственные конфигурации

Команда local-ai benchmark MODEL посылает последовательные запросы к уже работающему серверу через /v1/chat/completions. Модель нужно предварительно установить и настроить: имя бэкенда само по себе не является именем модели. Например, при уже заданном локальном alias my-text-model используйте local-ai benchmark my-text-model --runs 5 --warmup 1 --max-tokens 128. Для сравнения двух бэкендов создайте два alias и передайте оба имени. Это пример синтаксиса из документации, а не подтверждение запуска в Modelium. s2

Утилита сообщает минимальную, среднюю и максимальную задержку, а также сквозную скорость в completion tokens/s. Она считает полную длительность запроса: сетевой путь, очередь, обработку промпта и генерацию. Это не скорость чистого декодирования и не time-to-first-token. По умолчанию предусмотрены один прогревочный и три измеряемых запроса; в JSON доступен результат каждого замера. Если ответ сервера не содержит числа completion-токенов, скорость остаётся неопределённой, а не оценивается по длине строки. Сравнивайте при одинаковых промпте, длине контекста, квантовании, настройках и нагрузке; прогрев может скрыть холодную загрузку модели. s1 s2

Что изменилось ещё и кому обновляться

Для нескольких локальных узлов появился обзор состояния кластера: здоровье узлов, память и CPU, размещение запущенных реплик и массовые операции обслуживания. Для одиночного компьютера этот интерфейс вторичен; полезнее новая команда измерения и конфигурация приватных загрузок. Релиз также заявляет исправление аварийного запуска на Apple M5 и обработку поздних system-сообщений в Qwen3.x через явную настройку template.system_messages_after_first; значение по умолчанию не меняет поведение шаблона. Это заявления релизных примечаний, не независимые тесты редакции. s1

Следующий шаг: если у вас уже работает LocalAI с текстовой моделью, зафиксируйте версию 4.10.0, бэкенд, модель, квантование, железо и контекст, затем сравните alias на одном и том же запросе с local-ai benchmark. Если сервер использует приватные репозитории, перенесите учётные данные в защищённый файл и проверьте права доступа и политику редиректов перед подключением к рабочему реестру. Не считайте размер скачанных весов требованием к RAM/VRAM: оно зависит от бэкенда, контекста и конфигурации. s1 s2

Источники