# NVIDIA Nemotron 3 Diarization: открытые веса для разметки восьми голосов в аудио

Источник: https://modelium.tech/zhurnal/nemotron-3-diarization-local-speakers-streaming/

23 сентября 2026 года NVIDIA представила Nemotron 3 Diarization — модель с открытыми весами для локальной разметки, кто и когда говорил в записи или потоке. Она различает до восьми говорящих и отмечает пересечения реплик, но не расшифровывает слова и не устанавливает личности. Официальный чекпойнт доступен для NeMo и Transformers под OpenMDW-1.1; авторские замеры требуют учитывать условия тестирования.

## Что выпустили

23 сентября 2026 года NVIDIA официально представила **Nemotron 3 Diarization** — модель примерно на 100 млн параметров, которая размечает **кто говорил и когда** в аудиозаписи или потоке. Она возвращает вероятности активности по восьми каналам говорящих с шагом 10 мс; одновременная активность каналов позволяет отмечать наложение реплик. Это **не ASR**: слова и имена людей модель не распознаёт. Для подписанного по говорящим текста её выход нужно сопоставлять с отдельным распознавателем речи [s1](#src-s1) [s2](#src-s2).

HF-репозиторий существовал до анонса: файл `.nemo` загружался ещё 7 сентября. Датой **официального объявления** является 23 сентября, а не дата создания репозитория 1 сентября. В последней закреплённой ревизии `0f087031` от 23 сентября также добавлены веса, конфигурация и пример использования через Transformers. Поэтому речь о публичном выпуске и новом варианте интеграции, а не о впервые появившихся сегодня байтах `.nemo` [s1](#src-s1) [s3](#src-s3) [s4](#src-s4).

## Где это полезно при локальном запуске

Встречи, звонки и подкасты можно разбивать на интервалы `начало — конец — speaker_0…speaker_7`, в том числе при одновременной речи. Порядок каналов задаётся первым появлением голоса; это технические метки, **не проверка личности**. Модель принимает одноканальное аудио 16 кГц и умеет работать с записью целиком либо последовательно обрабатываемыми фрагментами. Для непрерывной обработки предусмотрены кэш говорящих и очередь недавнего контекста [s1](#src-s1) [s2](#src-s2).

У NVIDIA есть конфигурации с буфером входного аудио 30,4 с, 1,04 с, 0,64 с и 0,32 с. Эти цифры **не являются полной задержкой приложения**: к ним добавятся время вычисления, сеть и распознавание речи. Хотя технически возможен буфер 80 мс, разработчик рекомендует не опускаться ниже 0,32 с. Выбор профиля следует проверять на собственных записях и целевом оборудовании [s1](#src-s1) [s2](#src-s2).

## Как попробовать

Официальный путь — NVIDIA NeMo Speech. После установки совместимых PyTorch, Cython и `nemo-toolkit[asr]` пример из карточки загружает модель и возвращает интервалы говорящих:

from nemo.collections.asr.models import SortformerEncLabelModelmodel = SortformerEncLabelModel.from_pretrained("nvidia/Nemotron-3-Diarization")model.eval()for segment in model.diarize(audio=["meeting.wav"], batch_size=1)[0]:    print(segment)

Нужна запись с несколькими говорящими, приведённая к одноканальному аудио 16 кГц; для потокового режима дополнительно задаются согласованные параметры chunk/right-context/FIFO/cache из карточки. В официальной карточке есть и отдельные примеры `AutoModelForAudioFrameClassification`/`AutoProcessor` для **Transformers из исходного кода**, включая потоковую передачу `speaker_cache`; не следует предполагать поддержку в любой уже установленной версии пакета [s1](#src-s1) [s5](#src-s5).

В день анонса появились **сторонние** варианты: `mlx-community/Nemotron-3-Diarization` для Apple Silicon через `mlx-audio` и BF16 GGUF `audio-cpp/Nemotron-3-Diarization-GGUF` для `audio.cpp`. Это конверсии исходной NVIDIA-модели, а не новые базовые модели или официальный релиз NVIDIA для этих движков. Карточки содержат команды запуска и указывают исходный чекпойнт; публичных независимых тестов точности этих конверсий Modelium не проводил. Перед использованием проверьте совместимость текущих версий runtime и условия лицензии исходных весов [s6](#src-s6) [s7](#src-s7) [s8](#src-s8) [s9](#src-s9).

## Что известно о качестве и лицензии

В **авторском анонсе NVIDIA** указан DER 14,72% на первоначальной версии VoiceArena Diarization-Bench: 139 англоязычных разговоров суммарной длительностью около 22 часов, с учётом наложенной речи, автоматически полученными границами речи и без допуска на границах (collar 0 мс). Это не универсальная точность на любых языках и не независимый тест Modelium; организаторы ещё завершают оценку первой версии и парный статистический анализ. Для другого набора записей NVIDIA приводит сравнение с предыдущей моделью, но настройки датасета и буфера отличны от VoiceArena, поэтому проценты нельзя смешивать [s2](#src-s2).

HF-карточка помечена **OpenMDW-1.1** и прямо разрешает коммерческие и некоммерческие применения. Текст лицензии даёт бесплатное разрешение использовать и распространять материалы модели при соблюдении условий: при распространении сохранять лицензию и уведомления о происхождении; также предусмотрено прекращение прав при некоторых исках о нарушении IP. Это открытые веса с отдельной модельной лицензией, а **не** утверждение, что весь стек NeMo или обучающие данные распространяются под той же лицензией. Проверяйте права на собственные аудиозаписи отдельно [s1](#src-s1) [s10](#src-s10).

Практическое ограничение: максимум восемь говорящих. При большем числе, шуме, реверберации или непривычном домене качество может снижаться. Сопоставление реплик с текстом ASR и идентификация людей — отдельные задачи; в чувствительных сценариях стоит измерить ошибки на собственном аудио [s1](#src-s1) [s2](#src-s2).

## Источники

1. [NVIDIA Nemotron 3 Diarization: закреплённая карточка модели](https://huggingface.co/nvidia/Nemotron-3-Diarization/tree/0f087031414a6616bda8228f447d915a70a25720) — получено 2026-09-23
2. [NVIDIA: Know Who Spoke When, официальный анонс 23 сентября 2026](https://huggingface.co/blog/nvidia/nemotron-diarization) — получено 2026-09-23
3. [Hugging Face: история коммитов официальной модели NVIDIA](https://huggingface.co/api/models/nvidia/Nemotron-3-Diarization/commits/main?limit=100) — получено 2026-09-23
4. [Hugging Face API: файлы и ревизия Nemotron 3 Diarization](https://huggingface.co/api/models/nvidia/Nemotron-3-Diarization?blobs=true) — получено 2026-09-23
5. [Hugging Face Transformers: документация Nemotron 3 Diarization](https://huggingface.co/docs/transformers/en/model_doc/nemotron3_diarization) — получено 2026-09-23
6. [MLX Community: карточка конверсии Nemotron 3 Diarization](https://huggingface.co/mlx-community/Nemotron-3-Diarization/tree/59ed2dbfc1346dcea9d423c71306a3a2499c568f) — получено 2026-09-23
7. [audio.cpp: GGUF Nemotron 3 Diarization](https://huggingface.co/audio-cpp/Nemotron-3-Diarization-GGUF/tree/0d11b608238ea9f345fec426bdf8fa9364e8ab88) — получено 2026-09-23
8. [audio.cpp: инструкция по модели Nemotron 3 Diarization](https://github.com/0xShug0/audio.cpp/blob/main/docs/models/nemotron_3_diar.md) — получено 2026-09-23
9. [mlx-audio: реализация Nemotron Diarization](https://github.com/Blaizzy/mlx-audio/tree/main/mlx_audio/vad/models/nemotron_diarization) — получено 2026-09-23
10. [OpenMDW License Agreement 1.1: текст условий](https://openmdw.ai/license/1-1/) — получено 2026-09-23