# Confucius4-R2T2: потоковое распознавание речи и проверка русского языка

Источник: https://modelium.tech/zhurnal/confucius4-r2t2/

Confucius4-R2T2 — модель потокового распознавания речи NetEase Youdao с неизменяемыми уже выданными фрагментами транскрипта. Авторы оптимизировали её для китайского и английского; русский перечислен среди поддерживаемых языков, но авторского русского теста точности в опубликованной сравнительной таблице нет. Для русского разговора начните с собственной записи и сравните точность, задержку и стабильность выдачи с альтернативой. Веса доступны, но их лицензия отличается от Apache-2.0 для кода.

Проверено 2 октября 2026 года по Git-ревизии `26d55a54` и ревизиям моделей HF `185ce639`/`86ff0251`. Российская частотность запроса не измерена. Modelium не запускал веса: все параметры запуска ниже даны по документации автора.

## Что делает Confucius4-R2T2?

Это ASR-модель NetEase Youdao для **потокового распознавания**: на вход поступает аудио небольшими частями, а уже выданные части текста по авторскому описанию не переписываются («append-only»). Её основой в карточке назван `Qwen/Qwen3-ASR-1.7B`, а конфигурация содержит архитектуру `Qwen3ASRForConditionalGeneration` [s1](#src-s1) [s2](#src-s2) [s3](#src-s3). Потоковая выдача важна для субтитров, перевода с участием отдельной системы или агента, который получает только стабильные фрагменты; она не равна гарантии точной транскрипции конкретного разговора [s1](#src-s1).

Авторы указывают настраиваемые части аудио от **80 мс до 2 с** и заявляют среднюю задержку 200–600 мс; последняя цифра — результат их условий, не оценка Modelium и не обещание для вашей сети или железа [s1](#src-s1). В опубликованных графиках и таблицах сравнения приведены английский WER (доля ошибок слов) и китайский CER (доля ошибок символов), но не измерение для русского. Эти метрики и знаменатели нельзя переносить между языками [s1](#src-s1).

## Подходит ли R2T2 для русской речи?

В `config.json` модели **Russian есть** в `support_languages`, а README отдельно называет русский среди языков с возможностью потоковой работы. Однако основной фокус оптимизации сам автор определяет как китайский и английский; русскоязычная точность и задержка на вашем материале без проверки неизвестны [s1](#src-s1) [s3](#src-s3). Маркер `language: zh` у GGUF-карточки не опровергает список языков исходной модели, но и не доказывает качества русского у GGUF: проводите тест конкретного файла и режима [s3](#src-s3) [s4](#src-s4).

Выбирайте эту модель, если критична **неизменяемость выданных фрагментов**, например для живых субтитров. Если важнее итоговая точность после завершения записи, сначала сравните с [Qwen3-ASR](/zhurnal/qwen3-asr/) и [faster-whisper](/zhurnal/faster-whisper/) на одной русской записи. Конечное качество и безопасность передачи записи зависят от всей архитектуры, а не от отметки «local» в карточке.

## Какие веса, железо и способы запуска доступны?

Автор опубликовал основной `netease-youdao/Confucius4-R2T2` для собственного vLLM-пути и отдельный `netease-youdao/Confucius4-R2T2-GGUF` для llama.cpp-пути [s1](#src-s1) [s2](#src-s2) [s4](#src-s4). В GGUF-карточке перечислены f16, Q8_0 и Q4_K_M **вместе с отдельными mmproj-файлами**; один GGUF-файл языковой модели нельзя считать полной конфигурацией для обработки звука [s4](#src-s4) [s7](#src-s7). По заявлению карточки f16 весит 3,2 GiB, Q8_0 — 1,7 GiB, Q4_K_M — 1,0 GiB; размеры на диске **не равны минимальной RAM/VRAM** и ничего не говорят о задержке на вашей машине [s4](#src-s4).

README рекомендует Python 3.12 для исходной установки, а официальный Docker-пример ориентирован на CUDA/NVIDIA и запускает образ `qwenllm/qwen3-asr`; это **авторская тестовая среда**, не доказательство минимального железа или готового офлайн-контейнера [s1](#src-s1). Для варианта `stream_llama_hybrid` часть аудио обрабатывается PyTorch/vLLM, а декодер — llama.cpp; отдельный `stream_llama` описан как сквозной llama.cpp-путь. Предсобранные нативные библиотеки в README предназначены для Linux x86_64, CUDA и CPython 3.12; другую платформу/ABI автор предлагает пересобрать [s7](#src-s7). Выбор GGUF сам по себе не превращает все режимы в CPU-only.

## Как проверить на русской записи без ложного «работает»?

- Возьмите собственный обезличенный WAV с известным транскриптом: непрерывная речь, паузы, собственные имена, числа и, при необходимости, переключения языка. Отметьте ожидаемые слова и сегменты *до* сравнения моделей; закройте сетевой доступ, если задача требует офлайн-контура.

- Закрепите SHA исходных весов, Git-ревизию, runtime и способ запуска. По авторскому `run_example.sh` передают файл аудио, `--model_path`, `--infer_mode stream_vllm`, `--language Russian` и `--chunk_size_ms 160`; **по умолчанию язык Chinese**, поэтому для теста русского его надо указать явно [s6](#src-s6). Не копируйте бездумно Docker-команду автора: она монтирует сокет Docker хоста, что расширяет полномочия контейнера [s1](#src-s1).

- Сохраните каждый промежуточный фрагмент и финальную строку. По контракту WebSocket-сервера поле `text` — **добавленный фрагмент**, который клиент соединяет с предыдущими; код сервера и README описывают этот интерфейс [s1](#src-s1). Проверьте, что опубликованные слова не заменяются позже, а нужные слова не пропущены. Сопоставьте текст с ручной разметкой по доле ошибочных слов и отдельно измерьте задержку появления *стабильных* слов в своей записи. Измените размер чанка только при одинаковых остальных условиях [s1](#src-s1) [s6](#src-s6).

- Для GGUF запускайте **отдельный** официальный путь `r2t2_llama`, сверив пару модели и mmproj и режим `stream_llama` или hybrid; не предполагайте, что обычный текстовый endpoint Ollama либо любой `llama-server` уже поддерживает этот аудио-конвейер [s4](#src-s4) [s7](#src-s7). Сравнение с иным ASR имеет смысл только на одном аудио и с одинаковыми правилами подсчёта. Откройте [практический маршрут локального распознавания](/zhurnal/raspoznavanie-rechi-lokalno/) и зафиксируйте baseline.

## Какие ограничения лицензии и выводов учитывать?

**Код и веса имеют разные условия.** Исходный код в репозитории под Apache-2.0 [s1](#src-s1) [s8](#src-s8), но карточка весов помечена `license: other` и ссылается на отдельную **NetEase Model Use License Agreement** [s2](#src-s2) [s5](#src-s5). Текст соглашения содержит условия о пользователях/выручке, сохранении уведомлений, распространении производных и применении для улучшения других AI-моделей; для некоторых масштабов организации требуется отдельное разрешение. Не подменяйте проверку полного текста по своей ситуации словом «бесплатно» или автоматическим выводом «коммерчески разрешено» [s5](#src-s5).

Это модель-кандидат для **проверки потоковой русской речи**, не победитель в русском ASR-рейтинге. Авторские графики по английскому/китайскому не измеряют ваш сценарий. Modelium не запускал веса, не сравнивал качество русского, скорость, память и энергопотребление. **Следующий шаг:** [подготовить размеченную русскую запись и тест](/zhurnal/raspoznavanie-rechi-lokalno/), сравнив стабильность фрагментов R2T2 и точность альтернативы на одинаковом входе.

## Источники

1. [NetEase Youdao — Confucius4-R2T2 README](https://raw.githubusercontent.com/netease-youdao/Confucius4-R2T2/26d55a54ce5670cff9947a167d8ed95d569fd4d9/README.md) — получено 2026-10-02
2. [NetEase Youdao — карточка исходных весов на Hugging Face](https://huggingface.co/netease-youdao/Confucius4-R2T2/blob/185ce639118ad1362d049ca0d8ed04b6ec5cd6c9/README.md) — получено 2026-10-02
3. [NetEase Youdao — config.json модели](https://huggingface.co/netease-youdao/Confucius4-R2T2/blob/185ce639118ad1362d049ca0d8ed04b6ec5cd6c9/config.json) — получено 2026-10-02
4. [NetEase Youdao — официальный Confucius4-R2T2-GGUF](https://huggingface.co/netease-youdao/Confucius4-R2T2-GGUF/blob/86ff0251cb9f456b63aeef5f80137f104e22869a/README.md) — получено 2026-10-02
5. [NetEase Youdao — Model Use License Agreement](https://raw.githubusercontent.com/netease-youdao/Confucius4-R2T2/26d55a54ce5670cff9947a167d8ed95d569fd4d9/MODEL_LICENSE) — получено 2026-10-02
6. [NetEase Youdao — официальный скрипт run_example.sh](https://raw.githubusercontent.com/netease-youdao/Confucius4-R2T2/26d55a54ce5670cff9947a167d8ed95d569fd4d9/run_example.sh) — получено 2026-10-02
7. [NetEase Youdao — r2t2_llama README](https://raw.githubusercontent.com/netease-youdao/Confucius4-R2T2/26d55a54ce5670cff9947a167d8ed95d569fd4d9/r2t2_llama/README.md) — получено 2026-10-02
8. [NetEase Youdao — лицензия исходного кода Apache 2.0](https://raw.githubusercontent.com/netease-youdao/Confucius4-R2T2/26d55a54ce5670cff9947a167d8ed95d569fd4d9/LICENSE) — получено 2026-10-02