sherpa-onnx 2.0.1 добавил VoxLock для отделения голоса

Что именно появилось?

В sherpa-onnx 2.0.1 добавили работу с VoxLock — моделью, которая старается оставить голос выбранного человека и ослабить другие голоса. Программа получила примеры для обработки готовой записи и потока звука; разработчики добавили интерфейсы для нескольких языков программирования. Это новость для тех, кто собирает локальную обработку аудио, а не готовая кнопка очистки в обычном плеере. s1 s2

Модель сначала узнаёт нужный голос по образцу примерно на три секунды, затем обрабатывает запись частями. В официальном примере образец голоса передают отдельно: это помогает указать, кого именно оставить. Пример использует процессор компьютера (CPU) и сохраняет обработанное аудио в WAV-файл. s2

Что доступно для локальной работы?

Авторы sherpa-onnx разместили готовый архив с парой файлов VoxLock: один для образца голоса, второй для обработки аудио. Файлы в этом архиве основаны на VoxLock 1.1.1. ONNX — формат, в котором модель можно передать программе для запуска; название архива «int8» обозначает способ хранения части её чисел, а не требование к оперативной памяти. Перед обработкой веса и программу нужно скачать, после чего сам приведённый пример обращается к локальным файлам. s2 s3

Практический сценарий: у вас есть запись разговора и отдельный короткий фрагмент, где говорит только нужный человек. Пример sherpa-onnx указывает путь к обоим файлам, обрабатывает запись и сохраняет новый WAV. Чтобы понять, помогло ли это, прослушайте оригинал и результат рядом: осталась ли нужная речь, не исчезли ли важные слова и достаточно ли приглушены другие голоса. Это критерий для вашей записи, а не результат теста Modelium. s2

Где границы такого решения?

Веса VoxLock и код sherpa-onnx опубликованы с лицензией Apache-2.0, но это не означает, что любые записи можно использовать или распространять без разрешения их участников. В извещении автора модели указан исходный проект REAL-TSE; лицензии демонстрационных аудиозаписей отличаются от лицензии весов. s4 s5 s8

Не смешивайте версии файлов: более новый набор VoxLock 1.2.0, опубликованный автором отдельно, требует дополнительной поддержки со стороны sherpa-onnx; для релиза 2.0.1 автор прямо указывает набор 1.1.1. В собственном приложении VoxLock последующее исправление v1.2.1 устранило случай, когда нужный голос надолго приглушался при переходе к потоковой обработке. Это не доказательство того же дефекта в sherpa-onnx, но причина проверять сохранность речи, особенно в живом разговоре. s6 s7

Следующий шаг: откройте официальный пример sherpa-onnx с образцом голоса и сравните исходную и обработанную запись на своих данных. Описанный путь сверён по исходникам и релизу, но не воспроизведён редакцией. s2