# speech.cpp 0.7.1 ускоряет Qwen3-ASR и Qwen3-TTS на GPU

Источник: https://modelium.tech/zhurnal/speech-cpp-0-7-1-qwen3-asr-tts-gpu-speed/

speech.cpp 0.7.1 — стабильное обновление локального речевого runtime от 6 октября 2026 года. Оно ускоряет декодер Qwen3-ASR и Qwen3-TTS на GPU и сокращает пиковое потребление памяти при длинной записи; по измерениям автора, на RTX 2080 распознавание тестовых клипов стало быстрее на 13–25% относительно 0.7.0. GGUF-файлы, C API и протокол worker не менялись: для обновления runtime не требуется повторная конверсия весов. Это не новая модель и не независимый тест Modelium.

## Что вышло 6 октября

Разработчик speech.cpp выпустил **v0.7.1** — обновление локального C++/ggml-движка для распознавания и синтеза речи. Предыдущая версия 0.7.0 уже добавила Qwen3-ASR; здесь главное изменение — производительность Qwen3-декодера на GPU, а не новые модели или форматы весов. Стабильный релиз датирован 6 октября 2026 года и содержит готовые архивы для macOS arm64/Metal, Windows x64/Vulkan, Linux x64/Vulkan и Linux x64/CPU (для Linux указана glibc 2.34 или новее). [s1](#src-s1) [s2](#src-s2)

**Практический смысл:** если Qwen3-ASR распознаёт много коротких голосовых сообщений или длинные записи, а Qwen3-TTS озвучивает ответы локально, стоит сравнить 0.7.1 со своей установленной 0.7.0 на одинаковых файлах и оборудовании. Смена версий не требует переконвертации GGUF из 0.7.0: по описанию релиза layout весов, C API и worker protocol не менялись. Но веса выпусков до 0.7.0 с новым layout несовместимы — обновление с 0.6.x сначала требует перехода на GGUF версии 0.7.0. [s1](#src-s1) [s3](#src-s3)

## Откуда ускорение и что измерено

В коде декодер переиспользует граф между токенами, ищет тензоры по имени без повторного обхода списка и выбирает flash attention только там, где устройство поддерживает операцию. GPU-энкодер Qwen3-ASR может обрабатывать до четырёх восьмисекундных окон в одном графе; на CPU остаётся прежний путь с одним окном. Это изменения реализации в PR №49, а не обещание одинакового ускорения на любом GPU. [s2](#src-s2)

**По замерам автора** на RTX 2080/Vulkan пять тестовых клипов Qwen3-ASR 0.6B и 1.7B распознавались на 13–25% быстрее, чем в 0.7.0: сравнение построено на медиане трёх прогонов после прогрева с чередованием версий. На Apple M5/Metal скорость декодирования 0.6B составила 146–158 токенов/с против 147–157 токенов/с у llama.cpp b11246 в авторском сравнении. Это сопоставимость *этапа декодирования*, а не всего распознавания: в приведённых таблицах полное время speech.cpp для ряда клипов всё ещё больше из-за энкодера и prefill. Для записи длительностью 1338 секунд автор приводит 120 секунд обработки и 2,03 ГБ пика против 153 секунд и 2,52 ГБ у 0.7.0 на своём тесте. Эти цифры не являются гарантией для других моделей, устройств или записей и не измерены Modelium. [s2](#src-s2)

Автор также сообщает сокращение времени до первого аудиофрагмента Qwen3-TTS 0.6B примерно с 0,049 до 0,042 секунды на своём тесте. Примечание о точности: PR сообщает, что на RTX 2080 три из сорока тестовых распознаваний Qwen3-ASR 0.6B Q8_0 изменились и приблизились к референсу; значит, нельзя обещать побайтово одинаковый текст между версиями для всех квантованных запусков. Для чувствительных транскрипций сравните результат, а не только задержку. [s2](#src-s2)

## Как обновить и проверить

- Возьмите архив **v0.7.1** под свою платформу из официального релиза. Архивы и SHA256SUMS опубликованы там же. Исходный runtime имеет лицензию MIT; условия конкретных весов проверяйте отдельно. [s1](#src-s1) [s4](#src-s4)

- Для Qwen3-ASR используйте GGUF-файл версии 0.7.0 или новее из репозиториев автора: `sakasegawa/Qwen3-ASR-0.6B-GGUF` либо `sakasegawa/Qwen3-ASR-1.7B-GGUF`. Их карточки помечены Apache-2.0, и HF API показывает полные файлы Q8_0; это лицензия этих пакетов, не универсальное утверждение обо всех поддерживаемых речевых моделях. [s5](#src-s5) [s6](#src-s6) [s7](#src-s7)

- Оставьте ту же аудиозапись и ту же команду `speech asr MODEL.gguf AUDIO.wav`, измерьте время после прогрева и проверьте текст. Для японского языка и контекстных терминов README приводит вариант `speech asr Qwen3-ASR-1.7B-Q8_0.gguf --language ja --prompt "Claude Code、渋谷" meeting.wav`. Синтаксис и имя файла сверены с README закреплённого тега; приведённая команда — пример, а не проведённый Modelium тест. [s3](#src-s3)

**Когда пока не обновлять:** если ваш продакшен зависит от точного текста Q8_0 без регрессионного набора, сначала прогоните контрольные записи; если GPU не поддерживает flash attention, 0.7.1 выбирает прежнюю схему внимания и заявленный эффект может отличаться. Для моделей Parakeet и ReazonSpeech релиз не заявляет отдельного прироста скорости. [s1](#src-s1) [s2](#src-s2)

Читайте также материал о [speech.cpp 0.7.0](/zhurnal/speech-cpp-0-7-0-qwen3-asr-parakeet-reazon-gguf/): в нём разобраны новые ASR-семейства, формат GGUF и несовместимость с 0.6.x. [s1](#src-s1)

## Источники

1. [speech.cpp v0.7.1: release notes and assets](https://github.com/nyosegawa/speech.cpp/releases/tag/v0.7.1) — получено 2026-10-06
2. [PR #49: Decode Qwen3 as fast as llama.cpp on a GPU](https://github.com/nyosegawa/speech.cpp/pull/49) — получено 2026-10-06
3. [speech.cpp README at v0.7.1 commit ca3ded9](https://github.com/nyosegawa/speech.cpp/blob/ca3ded984a0f99b30368c120627ec6550c399c38/README.md) — получено 2026-10-06
4. [speech.cpp MIT license at v0.7.1](https://github.com/nyosegawa/speech.cpp/blob/ca3ded984a0f99b30368c120627ec6550c399c38/LICENSE) — получено 2026-10-06
5. [Qwen3-ASR 0.6B GGUF (author repository)](https://huggingface.co/sakasegawa/Qwen3-ASR-0.6B-GGUF) — получено 2026-10-06
6. [Qwen3-ASR 1.7B GGUF (author repository)](https://huggingface.co/sakasegawa/Qwen3-ASR-1.7B-GGUF) — получено 2026-10-06
7. [speech.cpp v0.7.0 release: incompatible legacy GGUF](https://github.com/nyosegawa/speech.cpp/releases/tag/v0.7.0) — получено 2026-10-06