Fun-ASR-Nano-2512 для LiteRT-LM: локальная транскрибация на Mac и Android

Зачем это нужно

Пакет рассчитан на обработку аудио на устройстве с LiteRT-LM: автор показывает работу на Apple M4 Max и Galaxy S26. Языковая часть основана на Qwen3-0.6B, а аудиочасть включает фронтенд, SAN-M-энкодер и адаптер. По карточке доступны китайский, английский и японский языки; это не обещание одинаковой точности на всех акцентах и языках. Пакет можно скачать отдельно, а LiteRT-LM имеет стабильный тег v0.16.1; автор использовал также Python-пакет litert-lm-api 0.17.1, наличие которого подтверждается PyPI. s1 s3 s4

Для проверки на совместимой системе автор предлагает установить litert-lm-api==0.17.1, загрузить Fun-ASR-Nano-2512.litertlm из закреплённой ревизии и передать 16 кГц, моно PCM WAV через Content.AudioFile в движок litert_lm.Engine(..., backend=GPU(), audio_backend=CPU()). Для каждого фрагмента создаётся новая conversation, декодирование — top_k=1, temperature=0. На Android карточка показывает вариант CLI из тега v0.16.1 с --audio_backend=cpu; аудиоэнкодер нельзя переносить на GPU по этому рецепту. Не следует принимать размер файла за минимальное требование к RAM: автор отдельно наблюдал пиковый private footprint на своём Galaxy S26, но это не универсальный минимум устройства. s1 s3

Границы точности и скорости

Один запрос — не более 30,24 секунды речи. При передаче более длинного клипа автор наблюдал потерю последующих окон. Его решение — разделить запись по паузам на фрагменты до 30 секунд и каждый отправлять в новой conversation; последовательные сообщения внутри одной conversation давали повторы. Метки времени и CTC-выход пакет не предоставляет; MP3 иногда менял текст относительно WAV того же аудио. s1

В авторской проверке на 25 клипах (пять примеров исходной модели и 20 клипов LibriSpeech dev-clean, 448 английских слов) CPU на M4 Max совпал с исходной fp32-моделью в 21/25 текстов, а языковая часть на GPU — в 24/25; английский WER составил соответственно 19/448 и 20/448 ошибок против 20/448 у исходной модели. Это сравнение автора конверсии, не независимая экспертиза и не общий рейтинг ASR. Отдельная проверка FLEURS у автора охватывала по 50 записей для английского, китайского и японского. Его цифры скорости на M4 Max и Galaxy S26 получены при разных версиях runtime и условиях запуска; переносить их на любой Mac или Android нельзя. Modelium модель не запускал. s1

Лицензия и происхождение

Карточка исходного FunAudioLLM/Fun-ASR-Nano-2512 указывает Apache-2.0, но не содержит собственного файла LICENSE; автор конверсии приложил текст Apache-2.0 и NOTICE, где описаны происхождение и преобразования. Указание лицензии и доступность весов не равны независимо проведённой юридической проверке всех зависимостей. У модели есть и другие форматы для локального запуска, поэтому LiteRT-LM стоит выбирать при интеграции именно с этим runtime, а не как единственный путь к офлайн-транскрибации. s1 s2