Voxtral Realtime в llama.cpp: расшифровка речи через локальный сервер

Что стало доступно 20 октября?

Пакет Voxtral Mini 4B Realtime 2602 в формате GGUF — файлы модели для программ семейства llama.cpp — появился у ggml-org ещё 16 октября. В нём есть три варианта основных весов и два отдельных файла для обработки звука; эти файлы не означали, что у пользователя уже был работающий способ передавать микрофон в сервер. Первый кодовый этап добавил внутреннюю обработку аудиопотока, а 20 октября отдельное изменение добавило серверный интерфейс /v1/realtime. s1 s3 s4

Теперь приложение может подключиться к локальному серверу по WebSocket — постоянному соединению, через которое оно отправляет куски звука и получает новые фрагменты текста. Документация требует одноканальный звук PCM16 с частотой, указанной сервером; произвольный аудиофайл или любой клиент голосового чата без настройки не подойдёт. Серверный интерфейс нужен разработчику приложения, а не для обычного текстового диалога с моделью. s1 s2

Что проверить перед попыткой запуска?

Не путайте код с готовой версией. На момент проверки 20 октября доступна сборка llama.cpp b11761. Хотя она опубликована в 22:14 UTC — после слияния серверного изменения в 22:04 UTC, её тег указывает на более ранний коммит, не содержащий это изменение. Для нового интерфейса пока нужен код после слияния или сборка, чью поддержку отдельно подтвердили. Дата публикации сборки сама по себе этого не доказывает. Команда llama serve в карточке GGUF показывает, как загрузить модель, но сама по себе не доказывает, что микрофон и расшифровка заработают в браузере. s1 s3 s5 s8

У модели и конверсии указана лицензия Apache 2.0; код llama.cpp опубликован отдельно под MIT. Это разные объекты и условия. Точные требования к оперативной и видеопамяти для конкретного компьютера мы не проверяли; размеры файлов не являются такими требованиями. Авторы исходной Voxtral заявляют многоязычность, включая русский, и малую задержку, но Modelium не проводил собственный тест GGUF или сервера и не переносит эти показатели на данную сборку. s3 s6 s7

Для Mac уже описан отдельный вариант Voxtral в MLX; это другая программа и другая конверсия. Если интересует именно новый сервер llama.cpp, следующий шаг — дождаться выпуска, содержащего слияние, и проверить поддержку передачи аудио у выбранного клиента, прежде чем доверять ему запись встречи. s1 s5