Irodori-TTS v4.1-Small в GGUF: японская речь через speech.cpp на Metal и Vulkan

Кому это полезно и как начать

Если нужен полностью локальный японский TTS на Apple Silicon или Windows с Vulkan-GPU, speech.cpp поставляет отдельные готовые CLI-архивы для macOS arm64/Metal и Windows x64/Vulkan в стабильном релизе v0.3.1 от 2 октября. Можно также собрать проект из исходников. GGUF этого семейства не совместим с llama.cpp просто потому, что у обоих файлов расширение GGUF: speech.cpp реализует свой тракт текстового энкодера, DiT и аудиокодека. s1 s2 s3

1. Скачайте архив speech-cpp-tools-v0.3.1 для своей платформы из релиза и проверьте опубликованные рядом SHA256SUMS; загрузите два GGUF-файла — MF-модель и кодек — из закреплённой ревизии HF. s1 s3
2. Возьмите разрешённую к использованию запись голоса в WAV 48 кГц. У Irodori нет встроенных голосов: для синтеза требуется референс либо файл голоса, созданный утилитой irodori-tts --make-voice. В README runtime указан предел референса 120 секунд, а неподходящая частота WAV отвергается. s1 s2
3. В каталоге с файлами запустите irodori-tts irodori-tts-v4.1-small-mf-f16.gguf semantic-dacvae-japanese-32dim-f32.gguf reference.voice.gguf "明日の東京は晴れです。" out.wav. Предварительный reference.voice.gguf создаётся отдельной командой irodori-tts --make-voice <модель.gguf> <кодек.gguf> reference.wav reference.voice.gguf --device cpu, где вместо плейсхолдеров используют реальные имена скачанных файлов. Это документированный автором рецепт, а не запуск, выполненный редакцией. s1 s2

Для интеграции существует speech-worker: он принимает запросы по JSON-строкам и отдаёт PCM-чанки. В отличие от покадрового Qwen3-TTS в этом же проекте, Irodori формирует предложение целиком, а затем передаёт его по мере декодирования кодеком; слишком длинные запросы (свыше 256 токенов) отклоняются. Язык — японский (ja); VoiceDesign и текстовые captions в порте не реализованы. s1 s2

Что означают замеры и ограничения

Версия MF использует четыре шага MeanFlow; обычная v4.1-Small по умолчанию использует 40 шагов Euler, но авторское сравнение скорости порта проводилось для 16 шагов обычной модели. На наборе из 20 японских предложений, после готовности worker, автор сообщает медиану появления первого звука 0,23 с для MF на Apple M5/Metal и 0,13 с на RTX 2080/Vulkan; это условия авторского теста, не универсальная гарантия и не минимальное аппаратное требование. Проверка автора против официальной FP32-реализации использовала одинаковый шум; независимых измерений Modelium нет. s1 s2

Исходные Small и Small-MF отмечены MIT, кодек Aratako тоже помечен MIT; upstream-кодек основан на DACVAE Meta с Apache-2.0. Код speech.cpp распространяется по MIT. Карточки моделей отдельно формулируют этические ограничения: не клонировать чужой голос без согласия и не использовать синтетическую речь для обмана. Метка MIT сама по себе не отменяет необходимость проверить права на референсную запись и применимые условия использования. Это открытые веса и доступный исходный код порта, но не подтверждение работы с любым GGUF-движком. s1 s2 s4 s5

Выбор: начинайте с MF и его четырёх шагов, если важна задержка; для оценки качества голоса сравнивайте с обычной моделью на собственных разрешённых записях. Перед интеграцией проверьте корректность японского текста, звучание и ограничения своего оборудования — здесь нет редакционного прогона. s1 s4