# Nemotron 3 Diarization для audio.cpp: GGUF Q8 и пакетная разметка говорящих

Источник: https://modelium.tech/zhurnal/nemotron-3-diarization-gguf-audio-cpp-local/

Для NVIDIA Nemotron 3 Diarization появились сторонние BF16- и Q8_0-GGUF-веса и нативный запуск в audio.cpp. Конверсия размещена 23 сентября 2026 года; поддержку модели включили в релиз audio.cpp v0.8.2 от 24 сентября UTC, а 25 сентября вышло исправление соответствия NeMo. Локальный C++-конвейер размечает интервалы до восьми говорящих, включая потоковую и пакетную обработку; слова он не расшифровывает. Весам нужна лицензия OpenMDW-1.1, несмотря на Apache-2.0 у кода runtime.

## Что изменилось

23 сентября 2026 года команда audio.cpp выложила стороннюю GGUF-конверсию **NVIDIA Nemotron 3 Diarization**: сначала BF16, затем Q8_0. В релизе **audio.cpp v0.8.2**, опубликованном 24 сентября по UTC, появилась нативная поддержка семейства `nemotron_3_diar` для разметки говорящих; в релизе `v0.8.2-audio8-perf-hotfix` от 25 сентября авторы указали улучшение соответствия реализации оригинальному NeMo. 26 сентября карточку и встроенную спецификацию GGUF обновили, но это **не новая базовая модель NVIDIA** и не новые файлы весов. О первоначальном выпуске модели мы уже писали; здесь речь об отдельном C++-способе её локального запуска [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s4](#src-s4).

Доступны `nemotron-3-diarization-bf16.gguf` и `nemotron-3-diarization-q8_0.gguf`; по карточке это 189,51 и 101,73 MiB **на диске**, а не требования к RAM или VRAM. Файлы созданы из исходного `.nemo`-чекпойнта NVIDIA, с зафиксированной исходной ревизией `723e19c6`. BF16 сохраняет исходную точность весов, а Q8_0 квантует лишь часть тензоров. Это конверсия сообщества audio.cpp, не официальный GGUF-релиз NVIDIA [s1](#src-s1) [s5](#src-s5).

## Зачем это локальному пользователю

`audio.cpp` принимает WAV 16 кГц и возвращает интервалы и технические метки говорящих. Есть обработка файла целиком, потоковый режим и пакетная подача нескольких записей через сервер. Метки означают *кто говорил когда* среди максимум восьми каналов, но не имя человека и не текст его речи. Для подписанной расшифровки потребуется отдельное ASR; текущая документация также описывает передачу вероятностей активности в конвейер Nemotron ASR. Для новых профилей и возможностей, добавленных после релизного тега, сверяйте и собирайте актуальный исходный код, а не полагайтесь на наличие их в бинарном v0.8.2 [s1](#src-s1) [s2](#src-s2) [s6](#src-s6).

## Как попробовать

Возьмите нужный GGUF из закреплённой ревизии репозитория и актуальную сборку audio.cpp. Пример для CUDA и 16-кГц WAV из инструкции проекта (здесь не запускался): [s1](#src-s1) [s6](#src-s6)

audiocpp_cli --task diar --family nemotron_3_diar \  --model /path/to/nemotron-3-diarization-bf16.gguf \  --backend cuda --audio meeting.wav --turns-out turns.json

Автор указывает также бэкенды Vulkan и Metal; конкретную сборку и корректность на своём устройстве нужно проверять отдельно. Для сервера описан маршрут `/v1/batches/transcriptions` с несколькими multipart-файлами и `speaker_turns` в SSE-ответе. Для потоковой обработки доступен `--mode streaming` и профиль `nemotron_3_diar.latency_profile=low`. Указанные в документации 1,04 с для `low` — только буфер входного сигнала, **не задержка появления готовой реплики** и не бенчмарк вашего оборудования [s1](#src-s1) [s6](#src-s6).

## Насколько хорош Q8_0

В собственном сравнении автора на RTX 5090 и восьми потоках CPU, в режиме CUDA с заранее загруженными моделями, 24 смешанных пакета аудио заняли 11,984 с на BF16, 10,836 с на Q8_0 и 9,718 с в официальном Python/NeMo. Для десяти отдельных запросов времена были 1,417, 1,684 и 1,795 с соответственно. Это **замеры создателей конверсии, не тесты Modelium**: по разным нагрузкам выигрывает разный вариант, из измерения исключены загрузка модели, файловый ввод-вывод и HTTP. Из их VRAM-цифр на одной RTX 5090 нельзя выводить минимальные требования [s1](#src-s1).

Q8_0 не гарантирует идентичную BF16-разметку. В приведённом авторами отдельном сравнении на записи длительностью 311 с число интервалов изменилось со 161 до 152. Показатель расхождения активности по 10-мс сетке **не является** diarization error rate относительно человеческой разметки. Если важна близость к исходной модели, начинайте с BF16 и сравнивайте результаты на своих записях; низкую задержку и работу на Metal/Vulkan не следует выводить из CUDA-бенчмарка [s1](#src-s1) [s6](#src-s6).

## Лицензия

Код audio.cpp опубликован под **Apache-2.0**, но производные GGUF-веса наследуют **OpenMDW-1.1** от модели NVIDIA. Карточка конверсии и включённая копия соглашения требуют сохранять текст лицензии и применимые уведомления о происхождении при распространении. Нельзя подменять условия весов лицензией runtime или считать «открытые веса» автоматически свободными от ограничений; перед коммерческой поставкой прочитайте полный текст соглашения [s1](#src-s1) [s5](#src-s5) [s7](#src-s7).

## Источники

1. [audio.cpp: закреплённая карточка и BF16/Q8_0 GGUF Nemotron 3 Diarization](https://huggingface.co/audio-cpp/Nemotron-3-Diarization-GGUF/tree/647d39feaa0e91dca5ce355a95403837b76dff56) — получено 2026-09-26
2. [audio.cpp v0.8.2: официальный релиз с поддержкой Nemotron 3 Diarization](https://github.com/0xShug0/audio.cpp/releases/tag/v0.8.2) — получено 2026-09-26
3. [audio.cpp v0.8.2-audio8-perf-hotfix: улучшение соответствия NeMo](https://github.com/0xShug0/audio.cpp/releases/tag/v0.8.2-audio8-perf-hotfix) — получено 2026-09-26
4. [История HF-ревизий сторонней GGUF-конверсии](https://huggingface.co/api/models/audio-cpp/Nemotron-3-Diarization-GGUF/commits/main?limit=10) — получено 2026-09-26
5. [GGUF provenance и копия лицензии OpenMDW-1.1](https://huggingface.co/audio-cpp/Nemotron-3-Diarization-GGUF/blob/647d39feaa0e91dca5ce355a95403837b76dff56/LICENSE.html) — получено 2026-09-26
6. [audio.cpp: документация Nemotron 3 Diarization в закреплённой ревизии](https://github.com/0xShug0/audio.cpp/blob/4270145e4c440efcaa7e55cc25d4f5702b5c64f4/docs/models/nemotron_3_diar.md) — получено 2026-09-26
7. [audio.cpp: лицензия исходного кода Apache 2.0](https://github.com/0xShug0/audio.cpp/blob/4270145e4c440efcaa7e55cc25d4f5702b5c64f4/LICENSE) — получено 2026-09-26