Confucius4-R2T2: потоковое распознавание речи и проверка русского языка

Что делает Confucius4-R2T2?

Это ASR-модель NetEase Youdao для потокового распознавания: на вход поступает аудио небольшими частями, а уже выданные части текста по авторскому описанию не переписываются («append-only»). Её основой в карточке назван Qwen/Qwen3-ASR-1.7B, а конфигурация содержит архитектуру Qwen3ASRForConditionalGeneration s1 s2 s3. Потоковая выдача важна для субтитров, перевода с участием отдельной системы или агента, который получает только стабильные фрагменты; она не равна гарантии точной транскрипции конкретного разговора s1.

Авторы указывают настраиваемые части аудио от 80 мс до 2 с и заявляют среднюю задержку 200–600 мс; последняя цифра — результат их условий, не оценка Modelium и не обещание для вашей сети или железа s1. В опубликованных графиках и таблицах сравнения приведены английский WER (доля ошибок слов) и китайский CER (доля ошибок символов), но не измерение для русского. Эти метрики и знаменатели нельзя переносить между языками s1.

Подходит ли R2T2 для русской речи?

В config.json модели Russian есть в support_languages, а README отдельно называет русский среди языков с возможностью потоковой работы. Однако основной фокус оптимизации сам автор определяет как китайский и английский; русскоязычная точность и задержка на вашем материале без проверки неизвестны s1 s3. Маркер language: zh у GGUF-карточки не опровергает список языков исходной модели, но и не доказывает качества русского у GGUF: проводите тест конкретного файла и режима s3 s4.

Выбирайте эту модель, если критична неизменяемость выданных фрагментов, например для живых субтитров. Если важнее итоговая точность после завершения записи, сначала сравните с Qwen3-ASR и faster-whisper на одной русской записи. Конечное качество и безопасность передачи записи зависят от всей архитектуры, а не от отметки «local» в карточке.

Какие веса, железо и способы запуска доступны?

Автор опубликовал основной netease-youdao/Confucius4-R2T2 для собственного vLLM-пути и отдельный netease-youdao/Confucius4-R2T2-GGUF для llama.cpp-пути s1 s2 s4. В GGUF-карточке перечислены f16, Q8_0 и Q4_K_M вместе с отдельными mmproj-файлами; один GGUF-файл языковой модели нельзя считать полной конфигурацией для обработки звука s4 s7. По заявлению карточки f16 весит 3,2 GiB, Q8_0 — 1,7 GiB, Q4_K_M — 1,0 GiB; размеры на диске не равны минимальной RAM/VRAM и ничего не говорят о задержке на вашей машине s4.

README рекомендует Python 3.12 для исходной установки, а официальный Docker-пример ориентирован на CUDA/NVIDIA и запускает образ qwenllm/qwen3-asr; это авторская тестовая среда, не доказательство минимального железа или готового офлайн-контейнера s1. Для варианта stream_llama_hybrid часть аудио обрабатывается PyTorch/vLLM, а декодер — llama.cpp; отдельный stream_llama описан как сквозной llama.cpp-путь. Предсобранные нативные библиотеки в README предназначены для Linux x86_64, CUDA и CPython 3.12; другую платформу/ABI автор предлагает пересобрать s7. Выбор GGUF сам по себе не превращает все режимы в CPU-only.

Как проверить на русской записи без ложного «работает»?

1. Возьмите собственный обезличенный WAV с известным транскриптом: непрерывная речь, паузы, собственные имена, числа и, при необходимости, переключения языка. Отметьте ожидаемые слова и сегменты до сравнения моделей; закройте сетевой доступ, если задача требует офлайн-контура.
2. Закрепите SHA исходных весов, Git-ревизию, runtime и способ запуска. По авторскому run_example.sh передают файл аудио, --model_path, --infer_mode stream_vllm, --language Russian и --chunk_size_ms 160; по умолчанию язык Chinese, поэтому для теста русского его надо указать явно s6. Не копируйте бездумно Docker-команду автора: она монтирует сокет Docker хоста, что расширяет полномочия контейнера s1.
3. Сохраните каждый промежуточный фрагмент и финальную строку. По контракту WebSocket-сервера поле text — добавленный фрагмент, который клиент соединяет с предыдущими; код сервера и README описывают этот интерфейс s1. Проверьте, что опубликованные слова не заменяются позже, а нужные слова не пропущены. Сопоставьте текст с ручной разметкой по доле ошибочных слов и отдельно измерьте задержку появления стабильных слов в своей записи. Измените размер чанка только при одинаковых остальных условиях s1 s6.
4. Для GGUF запускайте отдельный официальный путь r2t2_llama, сверив пару модели и mmproj и режим stream_llama или hybrid; не предполагайте, что обычный текстовый endpoint Ollama либо любой llama-server уже поддерживает этот аудио-конвейер s4 s7. Сравнение с иным ASR имеет смысл только на одном аудио и с одинаковыми правилами подсчёта. Откройте практический маршрут локального распознавания и зафиксируйте baseline.

Какие ограничения лицензии и выводов учитывать?

Код и веса имеют разные условия. Исходный код в репозитории под Apache-2.0 s1 s8, но карточка весов помечена license: other и ссылается на отдельную NetEase Model Use License Agreement s2 s5. Текст соглашения содержит условия о пользователях/выручке, сохранении уведомлений, распространении производных и применении для улучшения других AI-моделей; для некоторых масштабов организации требуется отдельное разрешение. Не подменяйте проверку полного текста по своей ситуации словом «бесплатно» или автоматическим выводом «коммерчески разрешено» s5.

Это модель-кандидат для проверки потоковой русской речи, не победитель в русском ASR-рейтинге. Авторские графики по английскому/китайскому не измеряют ваш сценарий. Modelium не запускал веса, не сравнивал качество русского, скорость, память и энергопотребление. Следующий шаг: подготовить размеченную русскую запись и тест, сравнив стабильность фрагментов R2T2 и точность альтернативы на одинаковом входе.