Турецкий Whisper для sherpa-onnx: два INT8-пакета для офлайн-распознавания

Кому полезно

Если приложение должно распознавать турецкую речь без облачного вызова, формат sherpa-onnx позволяет держать вывод на устройстве. Автор называет целевым применением ввод речи в клавиатуре CBoard; готовую интеграцию с этим приложением Modelium не проверял. Экспортный скрипт sherpa-onnx существует в указанной версии v1.13.3, но Modelium не запускал эти веса на телефоне и не проверял задержку. s1 s5

Для выбора пакета важны обе части пары: base-tr-encoder.int8.onnx (29 104 806 байт) и base-tr-decoder.int8.onnx (130 659 024 байта), либо small-tr-encoder.int8.onnx (112 413 411 байт) и small-tr-decoder.int8.onnx (262 200 764 байта). Потребуется также tokens.txt. Это размеры опубликованных файлов, не требования к оперативной памяти. Нельзя скачивать только граф декодера. s2

Что известно о качестве

По оценке автора, на турецкой части FLEURS (743 записи) WER у base-tr INT8 составляет 17,8% против 15,5% у обычного Whisper small INT8; на первых 500 записях MediaSpeech — 26,0% против 27,5% соответственно. В той же карточке для small-tr приведены 12,0% на FLEURS и 19,1% на MediaSpeech, но этот вариант измеряли в FP16 на GPU, а не на опубликованном INT8 ONNX. Поэтому эти цифры нельзя переносить на INT8-пакет или прямо сравнивать с задержкой CPU. Методика автора нормализует написание чисел перед расчётом WER; независимого воспроизведения нет. s1

Автор также сообщает о повторном воспроизведении фраз и ложном тексте на тишине: base-tr INT8 сгенерировал фразу на 13 из 20 безречевых клипов в его тесте. Для голосового ввода стоит поставить проверку наличия речи перед ASR и отдельно протестировать пустые записи и повторы на собственных данных. s1

Как начать проверку

Скачайте закреплённую ревизию dba827b0c88f6ac7e9caf08b2a95e8256f01d07a, затем возьмите подходящую пару ONNX и tokens.txt; сверить файлы можно с SHA256SUMS в том же репозитории. В API sherpa-onnx используйте офлайн Whisper-recognizer, указав язык tr и задачу transcribe, как в карточке. Перед интеграцией проверьте поддержку именно этих экспортов в вашей версии sherpa-onnx, WER, ложные срабатывания на тишине и задержку на целевом CPU/телефоне. s1 s2 s5

Права и происхождение

Пакет содержит текст Apache License 2.0; исходные ysdede/whisper-base-turkish-1.1 и ysdede/whisper-small-turkish-1 также помечены Apache 2.0 в их карточках HF. Это разрешительная лицензия весов, но условия дистрибуции вашего приложения и права на обучающие данные следует проверять отдельно: карточка экспорта не документирует исходный датасет. Заявление о происхождении экспорта принадлежит автору; байтовое равенство выходов с исходными чекпойнтами Modelium не проверял. s1 s3 s4