Audio8 TTS 0.6B перевели в LiteRT: локальный синтез речи и клонирование голоса

Что именно можно запустить

Audio8 TTS Preview 0.6B генерирует речь на 44,1 кГц, в том числе с опорой на короткий образец голоса и точную текстовую расшифровку этого образца. Карточки исходной и конвертированной моделей перечисляют 11 языков, включая английский, китайский, японский и несколько европейских; русского языка в списке нет. Исходная модель вышла раньше: её HF-репозиторий создан 28 июля, а не 28 сентября. s1 s4

Новый пакет разделяет slow autoregressive модель (slow_ar_int8.tflite либо slow_ar_int4.tflite), fast AR (fast_ar_int8.tflite) и кодек-декодер (FP16 с окнами T128/T192 или INT8 T128). Отдельный codec_encoder_fp16_10s.tflite требуется при регистрации собственного голоса; при синтезе с уже подготовленным профилем он не обязателен. Состав и размеры опубликованных файлов подтверждаются HF-деревом и манифестом; размер файла не равен минимально необходимой RAM или VRAM. s1 s5

Локальный старт

Автор предлагает скачать репозиторий целиком и установить ai-edge-litert, tokenizers, soundfile, scipy, numpy, huggingface_hub. Затем из каталога загрузки выполнить:

python audio8_tts_litert.py --model-dir . --text "Hello from LiteRT." --voice voices/en_librispeech_1272 --out hello.wav

Есть второй готовый японский профиль; для своего голоса скрипт принимает --register-voice me.wav --ref-text "точная расшифровка записи" --voice-out voices/me. Этот путь следует проверять на собственных данных и с разрешения говорящего. Нужен точный текст референса; автор ограничивает его десятью секундами и предупреждает о чувствительности preview-модели к шуму и диалектам. Мы не запускали модель и не удостоверяли качество её голоса. s1 s6

Важно о платформах. Опубликованный Python host loop создаёт LiteRT Interpreter с CPU-потоками; мобильного Kotlin/C++ приложения в этом пакете нет. Приведённые в карточке показатели Galaxy S26 получены отдельным benchmark_model для графов с разными CPU/GPU backend, а не end-to-end замером мобильного приложения. Поэтому не стоит переносить эти цифры на любой телефон или объявлять готовую Android-интеграцию. s1 s6

Что показывают измерения и где пределы

Авторы сравнили выход с PyTorch-референсом на 14 заранее заданных фразах: шесть английских и шесть японских с клонированным голосом плюс по одной без референса на каждом языке. Они приводят WER/CER распознавания результата и сходство голоса, а не независимый широкий языковой тест. На Apple Silicon Mac при CPU с четырьмя потоками автор сообщает медианный real-time factor 0,81 для slow INT8 + fast INT8 + FP16-кодека и 0,70 при INT8-кодеке; это результаты конкретной авторской конфигурации. Однако опубликованный CLI по умолчанию подключает только FP16-декодеры T128/T192 и не предлагает переключателя на INT8-кодек: результат 0,70 не следует выдавать за воспроизводимый этой командой без отдельной доработки host loop. Android-таблица измеряет графы по отдельности, включая занимаемую ими память в бенчмарке, — это не минимальные требования для устройства. s1 s6

Лицензия файла пакета — Apache-2.0; та же метка указана у исходного Edge0-чекпойнта. Это разрешительная лицензия, но пользователь обязан соблюдать её условия и права на референсные аудиозаписи; поддержка коммерческого применения лицензией не превращает качество preview в подтверждённую пригодность для продукта. Для русскоязычного синтеза этот выпуск нельзя считать проверенным решением. s4 s7

Вывод: пакет интересен тем, кому нужен локальный TTS без PyTorch в рантайме и возможность сравнить CPU-квантизации с исходной моделью. Первый практический шаг — повторить готовый пример на поддерживаемом языке, оценить голос и задержку на своём устройстве, а уже затем интегрировать отдельные LiteRT-графы в приложение. s1 s6