VibeVoice Streaming 1.5B с DFlash 2: локальная транскрипция с черновым декодером

Что меняется на практике

Драфтер предлагает блок из восьми токенов, а основная модель проверяет предложенное и принимает совпадающий префикс. По объяснению автора, режим точной проверки сохраняет текст транскрипта побайтно тем же, что и декодирование без драфтера при одинаковых вычислительных ядрах. Это ускоряет декодирование, но не обязательно в той же пропорции полный цикл распознавания с обработкой аудио, подготовкой модели и другими этапами. Потоковый режим сервера также заявлен, но независимых испытаний Modelium нет. s1 s4

На Linux с RTX 3090 автор сравнил один и тот же BF16-чекпойнт с драфтером и без него: для двухминутного файла 208 против 408 токенов/с (1,96×), для 32-минутного — 186 против 358 токенов/с (1,92×). Условия: ревизия b72be15 ветки dflash2 проекта vibevoice.c, greedy decoding, --draft-check exact; BF16-веса при запуске представлены как плотный FP16. Эти числа принадлежат автору пакета, относятся к конкретному GPU и материалу и не подтверждают такой же выигрыш на другой машине либо для end-to-end latency. s1 s4

Веса, запуск и совместимость

Репозиторий содержит три шарда основной модели, конфигурацию и токенизатор, а в drafter/ — отдельный файл весов и конфигурацию драфтера. Исходный чекпойнт Microsoft закреплён авторами на ревизии 4262d23d; карточка пакета указывает, что основные веса не изменены. Компоненты лежат в одном каталоге модели, однако для работы нужен не текущий стабильный релиз vibevoice.c, а ветка dflash2 из открытого PR #48. На момент проверки 25 сентября PR ещё не слит. Не следует рассчитывать, что обычная установка последнего стабильного vibevoice.c уже поддерживает этот пакет. s1 s2 s3 s4

После получения ветки dflash2 и загрузки всего репозитория команда из карточки для локального файла выглядит так:

vv_cli --model ./VibeVoice-ASR-Streaming-1.5B-DFlash2 --audio talk.wav

При наличии подкаталога drafter/ он выбирается автоматически. Для сравнения с обычным декодированием предусмотрено --draft none; серверный режим — vv_cli serve --model ./VibeVoice-ASR-Streaming-1.5B-DFlash2 --slots 4. Сначала проверьте поддерживаемую CUDA-сборку и наличие места под обе модели; размер файлов на диске не является требованием к VRAM. В описании PR сказано, что CPU, Metal и разделение модели между устройствами отклоняют драфтер и продолжают без него; авторские замеры выполнены на CUDA, поэтому ускорение на Apple Silicon или CPU не заявлено. s1 s4

Лицензия и ограничения

Карточки пакета и исходной модели Microsoft указывают MIT; ветка vibevoice.c также содержит MIT-лицензию. Это открыто доступные веса и код, а не гарантия совместимости любого производного датасета, коммерческого сценария или зависимости: перед продуктовым применением проверьте условия каждого используемого компонента и уведомления об авторских правах. Microsoft заявляет для оригинального Streaming 1.5B десять языков, включая русский; результаты драфтера на каждом языке отдельно не опубликованы. Ускорение и побайтное совпадение в приведённых тестах — заявления разработчика, не независимая проверка. s1 s3 s4 s5

Вывод: пакет полезен тем, кто уже разворачивает VibeVoice для локальной потоковой транскрипции на CUDA и готов тестировать незавершённую ветку runtime. Для стабильного production-окружения сначала дождитесь принятия PR, проверьте точность и скорость на своих русскоязычных записях и отдельно измеряйте полный цикл ASR, а не только токены в секунду. s1 s4