speech.cpp 0.7.1 ускоряет Qwen3-ASR и Qwen3-TTS на GPU

Откуда ускорение и что измерено

В коде декодер переиспользует граф между токенами, ищет тензоры по имени без повторного обхода списка и выбирает flash attention только там, где устройство поддерживает операцию. GPU-энкодер Qwen3-ASR может обрабатывать до четырёх восьмисекундных окон в одном графе; на CPU остаётся прежний путь с одним окном. Это изменения реализации в PR №49, а не обещание одинакового ускорения на любом GPU. s2

По замерам автора на RTX 2080/Vulkan пять тестовых клипов Qwen3-ASR 0.6B и 1.7B распознавались на 13–25% быстрее, чем в 0.7.0: сравнение построено на медиане трёх прогонов после прогрева с чередованием версий. На Apple M5/Metal скорость декодирования 0.6B составила 146–158 токенов/с против 147–157 токенов/с у llama.cpp b11246 в авторском сравнении. Это сопоставимость этапа декодирования, а не всего распознавания: в приведённых таблицах полное время speech.cpp для ряда клипов всё ещё больше из-за энкодера и prefill. Для записи длительностью 1338 секунд автор приводит 120 секунд обработки и 2,03 ГБ пика против 153 секунд и 2,52 ГБ у 0.7.0 на своём тесте. Эти цифры не являются гарантией для других моделей, устройств или записей и не измерены Modelium. s2

Автор также сообщает сокращение времени до первого аудиофрагмента Qwen3-TTS 0.6B примерно с 0,049 до 0,042 секунды на своём тесте. Примечание о точности: PR сообщает, что на RTX 2080 три из сорока тестовых распознаваний Qwen3-ASR 0.6B Q8_0 изменились и приблизились к референсу; значит, нельзя обещать побайтово одинаковый текст между версиями для всех квантованных запусков. Для чувствительных транскрипций сравните результат, а не только задержку. s2

Как обновить и проверить

1. Возьмите архив v0.7.1 под свою платформу из официального релиза. Архивы и SHA256SUMS опубликованы там же. Исходный runtime имеет лицензию MIT; условия конкретных весов проверяйте отдельно. s1 s4
2. Для Qwen3-ASR используйте GGUF-файл версии 0.7.0 или новее из репозиториев автора: sakasegawa/Qwen3-ASR-0.6B-GGUF либо sakasegawa/Qwen3-ASR-1.7B-GGUF. Их карточки помечены Apache-2.0, и HF API показывает полные файлы Q8_0; это лицензия этих пакетов, не универсальное утверждение обо всех поддерживаемых речевых моделях. s5 s6 s7
3. Оставьте ту же аудиозапись и ту же команду speech asr MODEL.gguf AUDIO.wav, измерьте время после прогрева и проверьте текст. Для японского языка и контекстных терминов README приводит вариант speech asr Qwen3-ASR-1.7B-Q8_0.gguf --language ja --prompt "Claude Code、渋谷" meeting.wav. Синтаксис и имя файла сверены с README закреплённого тега; приведённая команда — пример, а не проведённый Modelium тест. s3

Когда пока не обновлять: если ваш продакшен зависит от точного текста Q8_0 без регрессионного набора, сначала прогоните контрольные записи; если GPU не поддерживает flash attention, 0.7.1 выбирает прежнюю схему внимания и заявленный эффект может отличаться. Для моделей Parakeet и ReazonSpeech релиз не заявляет отдельного прироста скорости. s1 s2

Читайте также материал о speech.cpp 0.7.0: в нём разобраны новые ASR-семейства, формат GGUF и несовместимость с 0.6.x. s1