Распознавание речи локально: как выбрать Whisper и альтернативы

Что должно получиться на выходе?

Вход — разрешённая к обработке запись русской речи и короткий фрагмент с вручную выверенным текстом. Выход — транскрипт с отметками спорных слов и, если задача требует, сегментными таймкодами. Для встречи с несколькими голосами нужен отдельный слой диаризации: WhisperX описывает комбинацию ASR, выравнивания слов и назначения анонимных меток спикеров; одно лишь распознавание текста не определяет личность говорящего s6.

До установки определите, допустимо ли загружать веса и зависимости из сети, где будет храниться аудио и нужен ли результат без сети после подготовки окружения. Это условия вашего пилота, а не обещание, что установка сама по себе не обращается наружу. Для проверки сетевого режима есть отдельный материал «Как проверить офлайн-контур».

Чем отличаются Whisper, faster-whisper, whisper.cpp и Qwen3-ASR?

OpenAI Whisper — семейство моделей и эталонная Python-реализация для распознавания и перевода речи s1. Для русского выбирайте многоязычный вариант: версии .en предназначены для английского. turbo может делать транскрипцию, но, согласно README, не обучался задаче перевода в английский; не смешивайте «текст по-русски» и «перевести сказанное на английский» s1. Таблица скоростей разработчика получена на английском аудио и A100: её нельзя превращать в прогноз для вашего CPU или русской записи s1.

faster-whisper — другой движок запуска весов Whisper, на базе CTranslate2, с вариантами CPU/int8 и CUDA s3. В README есть отдельные параметры для таймкодов слов и фильтра VAD; в режиме VAD проверяйте, не исчезли ли тихие или короткие реплики s3. Результат transcribe отдаётся как генератор сегментов: если не пройти его итерацией, работа по распознаванию может ещё не выполниться s3. Опубликованные сравнительные скорости — тесты авторов на заданных моделях и железе, а не независимый выбор победителя для вашего оборудования s3.

whisper.cpp — C/C++ реализация Whisper с CPU-only и бэкендами для ряда GPU; это выбор при желании использовать CLI и отдельную сборку, а не аргумент, что любая конфигурация будет быстрее Python s4. В закреплённом README whisper-cli демонстрируется на WAV 16-bit: аудио другого формата для такого пути сначала приводят к совместимому PCM, затем проверяют выбранный многоязычный ggml-файл модели. Пример base.en из README — английский и не подходит как базовый кандидат для русского s4 s1.

Qwen3-ASR — отдельное семейство весов, а не реализация Whisper; карточка 0.6B перечисляет русский среди поддерживаемых языков s5. Выбирайте точный checkpoint и сохраняйте его ревизию. Авторские заявления о качестве, включая сравнения с другими системами, не равны измерениям на ваших телефонных звонках или совещаниях s5. Детали вариантов разобраны на отдельной странице Qwen3-ASR.

Как сделать первый локальный тест без ложного «победителя»?

1. Выберите данные. Возьмите разрешённый фрагмент с фоновым шумом, терминами и несколькими характерными для вашей задачи именами. Вручную зафиксируйте эталон и места, где даже человеку плохо слышно. Не передавайте закрытое аудио в онлайн-демо ради сравнения.
2. Зафиксируйте вариант. Запишите ревизию весов, runtime, устройство, язык и параметры распознавания. Для первого опыта можно открыть гайд по faster-whisper/VAD; он рассматривает именно влияние удаления тишины. Для эталонной реализации OpenAI описывает установку openai-whisper, необходимость ffmpeg и CLI с явным языком s1. Для пути whisper.cpp сначала проверьте формат входного WAV и соответствующий файл многоязычной модели s4.
3. Получите транскрипт. Запустите каждый вариант на одном и том же исходном аудио, сохранив текст и таймкоды. VAD и нормализацию звука не меняйте между кандидатами без записи изменений. Для faster-whisper до конца переберите генератор сегментов: иначе нельзя утверждать, что транскрипция завершена s3.
4. Сверьте ошибки вручную. Отмечайте пропущенные слова, подменённые имена и цифры, придуманные фразы на паузах, потерю коротких реплик и расхождение сегментных времён. Карточка Whisper отдельно предупреждает о тексте, которого в аудио не произносили, и о неравномерной точности между языками и диалектами s2. Не переносите авторские цифры WER на свою запись.
5. Только затем решайте задачу. Если нужны метки людей, переходите к отдельной диаризации; если требуется перевод, проверьте модель и режим перевода, а не оценивайте перевод по транскрипту на исходном языке s6 s1.

Проверяемый итог пилота — сохранённые аудио, эталон и ошибочные интервалы для каждого варианта плюс запись конфигурации запуска. Пока собственных сопоставимых прогонов Modelium нет, мы не назначаем «лучший ASR для русского» и не называем минимальную RAM/VRAM. Репозиторий OpenAI Whisper содержит MIT-лицензию для своего кода; это не автоматическая оценка лицензий Qwen, аудиоданных, зависимостей или коммерческого сценария в целом s7.