llama.cpp b11946: разговор и расшифровка речи с LFM3 через локальный сервер

Что именно изменилось

В сервере llama.cpp расширен адрес /v1/realtime: через WebSocket — постоянное соединение клиента с локальным сервером — можно передавать звук по частям, получать речь и текст ответа, а также расшифровывать поступающую запись. Авторы изменения называют две совместимые модели: LiquidAI/LFM3-Audio-2B-GGUF для задач со звуком и LiquidAI/LFM3-Omni-2B-GGUF для сочетания разных типов данных. В репозитории есть пример клиента examples/realtime_client.py, но это пример для тех, кто умеет запускать локальный сервер и Python, а не графическое приложение для начинающего. s1 s2 s4 s5

Например, при английской диктовке ожидаемый результат — текст произнесённой фразы; при голосовом вопросе — ответ звуком, а в соответствующем режиме ещё и текстом. Это сценарии из описания авторов, не воспроизведённые Modelium. Автор PR сообщает о проверке соответствия эталонной реализации и пробном запуске вариантов F32, Q8_0 и Q4_0 на Mac и CUDA; независимого замера задержки или качества здесь нет. Не следует обещать мгновенную реакцию, точную расшифровку любой речи или работу на любом ноутбуке. s2

Что реально доступно, а что ещё нет

PR с поддержкой самих LFM3 Audio и Omni в llama.cpp (#31257) был слит 27 октября, а PR с разговором и расшифровкой (#31269) — 28 октября. Сборка b11946 содержит второе изменение и имеет метку prerelease: стабильным выпуском её называть нельзя. Официальные репозитории Liquid AI содержат основные GGUF-файлы и отдельные файлы-проекторы для аудио/изображений. Размеры файлов не говорят, сколько оперативной или видеопамяти понадобится вашему компьютеру. s1 s2 s3 s4 s5

В закреплённых карточках GGUF на момент проверки ещё остались старые предупреждения, будто PR #31257 не слит и /v1/realtime только ожидается. История GitHub и выпуск b11946 показывают более новое состояние; предупреждения карточек нельзя копировать как текущий статус поддержки. При этом выпуск кода не равен проверенному Modelium домашнему рецепту: соединение с сервером, доступ к микрофону и поведение конкретной машины редакция не проверяла. s1 s2 s3 s4 s5

Если вы хотите попробовать

Для новичка пока разумнее дождаться проверенной инструкции с интерфейсом и наблюдаемым результатом. Для разработчика отправная точка — официальная сборка b11946 и пример examples/realtime_client.py из той же версии; сначала проверьте поддержку своей ОС, наличие основного файла и проектора, затем на коротком несекретном английском аудиофрагменте сравните полученный текст со сказанным. Синтаксис примера и полный запуск редакция не испытывала, поэтому мы не даём команду, обещающую готовый результат. s1 s2 s4 s5

Исходный код llama.cpp в этой сборке опубликован под MIT. Веса Liquid AI распространяются отдельно по LFM Open License v1.0: коммерческое использование ограничено условием о годовой выручке организации менее 10 млн долларов; соблюдение других условий лицензии тоже необходимо. MIT-лицензия программы не делает лицензии весов автоматически свободной для любого бизнеса. s6 s7

Для контекста: предыдущий материал о появлении GGUF-весов LFM3 Audio и Omni описывал состояние на 27 октября, когда потоковый режим ещё не вышел. Текущий статус поддержки и предварительной сборки приведён здесь.

Следующий шаг: если вам нужен именно голосовой диалог, следите за стабильным выпуском llama.cpp или проверенной инструкцией для конкретного устройства; не принимайте предварительный пакет и авторский тест за гарантию результата.