Nemotron 3 Diarization для audio.cpp: GGUF Q8 и пакетная разметка говорящих

Зачем это локальному пользователю

audio.cpp принимает WAV 16 кГц и возвращает интервалы и технические метки говорящих. Есть обработка файла целиком, потоковый режим и пакетная подача нескольких записей через сервер. Метки означают кто говорил когда среди максимум восьми каналов, но не имя человека и не текст его речи. Для подписанной расшифровки потребуется отдельное ASR; текущая документация также описывает передачу вероятностей активности в конвейер Nemotron ASR. Для новых профилей и возможностей, добавленных после релизного тега, сверяйте и собирайте актуальный исходный код, а не полагайтесь на наличие их в бинарном v0.8.2 s1 s2 s6.

Как попробовать

Возьмите нужный GGUF из закреплённой ревизии репозитория и актуальную сборку audio.cpp. Пример для CUDA и 16-кГц WAV из инструкции проекта (здесь не запускался): s1 s6

audiocpp_cli --task diar --family nemotron_3_diar \
--model /path/to/nemotron-3-diarization-bf16.gguf \
--backend cuda --audio meeting.wav --turns-out turns.json

Автор указывает также бэкенды Vulkan и Metal; конкретную сборку и корректность на своём устройстве нужно проверять отдельно. Для сервера описан маршрут /v1/batches/transcriptions с несколькими multipart-файлами и speaker_turns в SSE-ответе. Для потоковой обработки доступен --mode streaming и профиль nemotron_3_diar.latency_profile=low. Указанные в документации 1,04 с для low — только буфер входного сигнала, не задержка появления готовой реплики и не бенчмарк вашего оборудования s1 s6.

Насколько хорош Q8_0

В собственном сравнении автора на RTX 5090 и восьми потоках CPU, в режиме CUDA с заранее загруженными моделями, 24 смешанных пакета аудио заняли 11,984 с на BF16, 10,836 с на Q8_0 и 9,718 с в официальном Python/NeMo. Для десяти отдельных запросов времена были 1,417, 1,684 и 1,795 с соответственно. Это замеры создателей конверсии, не тесты Modelium: по разным нагрузкам выигрывает разный вариант, из измерения исключены загрузка модели, файловый ввод-вывод и HTTP. Из их VRAM-цифр на одной RTX 5090 нельзя выводить минимальные требования s1.

Q8_0 не гарантирует идентичную BF16-разметку. В приведённом авторами отдельном сравнении на записи длительностью 311 с число интервалов изменилось со 161 до 152. Показатель расхождения активности по 10-мс сетке не является diarization error rate относительно человеческой разметки. Если важна близость к исходной модели, начинайте с BF16 и сравнивайте результаты на своих записях; низкую задержку и работу на Metal/Vulkan не следует выводить из CUDA-бенчмарка s1 s6.

Лицензия

Код audio.cpp опубликован под Apache-2.0, но производные GGUF-веса наследуют OpenMDW-1.1 от модели NVIDIA. Карточка конверсии и включённая копия соглашения требуют сохранять текст лицензии и применимые уведомления о происхождении при распространении. Нельзя подменять условия весов лицензией runtime или считать «открытые веса» автоматически свободными от ограничений; перед коммерческой поставкой прочитайте полный текст соглашения s1 s5 s7.