audio.cpp 0.9.0: локальная расшифровка русской речи через GigaAM и разделение звука

Что полезно для русской речи

Новый путь gigaam_asr обрабатывает аудио локально и офлайн. Документация релиза различает GigaAM v3 для русского языка и GigaAM Multilingual для русского, казахского, кыргызского, узбекского и английского; есть CTC, RNNT и варианты E2E, а также сохранение сегментов и временных отметок слов. Временные отметки вычисляются по кадрам эмиссии токенов декодера, а не методом forced alignment. Длинные записи автоматически делятся на фрагменты. s2

Исходные ASR-веса GigaAM v3 ctc и GigaAM Multilingual ctc доступны в Hugging Face, обе закреплённые ветки содержат pytorch_model.bin и помечены MIT. Это отдельные модельные веса; ни GitHub-архив движка, ни лицензия его кода не заменяют лицензию чекпойнта. s3 s4 s5

Маршрут запуска: установите или соберите audio.cpp 0.9.0, скачайте исходный GigaAM ASR-чекпойнт нужной ветки, конвертируйте его по документации движка в GGUF, затем вызовите audiocpp_cli --task asr --family gigaam_asr --model <путь-к-gguf> --backend cpu --threads 8 --audio speech.wav --text-out transcript.txt. В руководстве приведён полный пример конвертации для ветки ctc; для CPU предусмотрены --backend cpu --threads 8. Указанные восемь потоков — пример параметра, а не минимальное требование. Без отдельно подготовленного GGUF эту команду запускать бессмысленно. Modelium не выполнял конвертацию или измерение точности. s2

Если требуется отделить голос от фона

В том же релизе появилась поддержка SAM Audio: текстом можно обозначить источник звука, а инструмент сохраняет target.wav и residual.wav. Руководство показывает автономный режим, CUDA-пример и дополнительные подсказки по времени или замаскированным визуальным референсам. Это разделение звука, не транскрипция: для расшифровки после отделения нужен отдельный ASR-этап. Проверяйте условия использования конкретных весов SAM Audio самостоятельно; Apache 2.0 у audio.cpp к ним не переносится. s1 s6 s5

Ограничения выбора

Если задача — расшифровать русский разговор без отправки записи в облако, начинайте с ветки GigaAM v3 CTC и проверяйте ошибки на собственных записях. Если важны другие перечисленные языки, смотрите Multilingual. Для извлечения говорящего из смеси сначала изучите SAM Audio, затем отдельно запускайте ASR. Авторская документация подтверждает интерфейс, но не даёт нам результатов независимого тестирования на вашем устройстве. Код движка — Apache 2.0; модельные лицензии проверяйте для каждого выбранного набора весов. s2 s3 s4 s5 s6