LocalAI 4.11.0: failover локальных моделей, аудиосцены и API решений

Один публичный alias, несколько целей

В конфигурации модели можно указать упорядоченный список failover.targets — например, уже настроенную локальную модель первой и другую локальную либо удалённую резервной. Клиент обращается к имени цепочки; заголовок X-LocalAI-Served-Model показывает фактически обслужившую запрос цель. Статус и переходы видны через GET /api/failover и панель Operate → Runtime → Failover. Это полезно для собственного API, если один из бэкендов временно недоступен, а повторный запрос можно безопасно выполнить на запасной модели. s1 s2

Граница гарантий: LocalAI повторяет запрос на следующей цели лишь до начала выдачи ответа. Если поток уже отдал первый байт/токен, текущий запрос завершится ошибкой, а запасная цель будет использоваться для следующего запроса. Ошибки валидации клиента и слишком длинный промпт не становятся основанием для автоматического переключения. Цепочка требует минимум двух заранее настроенных моделей и не допускает вложения цепочек; warm: true имеет смысл для локальной цели, но не прогревает удалённую. При включении облачной резервной цели данные запроса могут покинуть локальную машину — для строго автономного контура выбирайте только локальные цели и проверяйте их лицензии. s2

Практический первый шаг без выдуманного имени модели: обновить LocalAI до 4.11.0, установить и проверить два подходящих модельных бэкенда, затем в редакторе моделей выбрать шаблон Failover Chain, добавить цели в нужном порядке и проверить переключение на тестовом запросе и статус /api/failover. Modelium не запускал собственный тест такого переключения. s1 s2

Что изменилось для аудио

parakeet-cpp теперь может объединять распознавание речи, разделение говорящих и определение звуковых событий. POST /v1/audio/diarization отдаёт интервалы и сведения о говорящих; параметр include_text=true добавляет текст при подходящей конфигурации. В Studio пользователь может прослушать отрезок и явно сохранить имя голоса для дальнейшего сопоставления. Это не готовая проверка личности: голосовые профили относятся к биометрическим данным, а внутренний реестр профилей сейчас живёт только в процессе — после перезапуска имена исчезают и не синхронизируются между отдельными фронтендами. Для постоянного архива встреч это существенное ограничение. s1 s3

Решения и доверенные галереи

Модели, обозначенные known_usecases: [decisions], получили отдельный POST /v1/systemone для вопросов типа choice, score и level. Прикладная польза — маршрутизация обращений или классификация без извлечения категории из свободного ответа чат-модели. Но официальный материал по моделям прямо рекомендует текущую master-сборку и alpha-бэкенд vllm-cpp для перечисленных галерейных вариантов. Поэтому нельзя обещать, что всякая модель из каталога заработает только после установки стабильного бинарника 4.11.0. Числа score не следует принимать за калиброванные вероятности, а важные решения стоит проверять человеком. s1 s4

Подписанные OCI-галереи дают ещё один практический механизм: теги разрешаются в дайджест, подпись проверяется по нему, а кэш связывается с политикой проверки. Это относится к доставке конфигураций галереи, не делает автоматически открытыми или разрешёнными к коммерческому использованию любые скачанные из неё веса. Исходный код LocalAI в теге v4.11.0 распространяется под MIT; условия моделей, датасетов и отдельных бэкендов проверяются отдельно. Авторских сравнений скорости для этого выпуска мы не воспроизводили. s1 s5