NVIDIA Nemotron 3 Diarization: открытые веса для разметки восьми голосов в аудио

Где это полезно при локальном запуске

Встречи, звонки и подкасты можно разбивать на интервалы начало — конец — speaker_0…speaker_7, в том числе при одновременной речи. Порядок каналов задаётся первым появлением голоса; это технические метки, не проверка личности. Модель принимает одноканальное аудио 16 кГц и умеет работать с записью целиком либо последовательно обрабатываемыми фрагментами. Для непрерывной обработки предусмотрены кэш говорящих и очередь недавнего контекста s1 s2.

У NVIDIA есть конфигурации с буфером входного аудио 30,4 с, 1,04 с, 0,64 с и 0,32 с. Эти цифры не являются полной задержкой приложения: к ним добавятся время вычисления, сеть и распознавание речи. Хотя технически возможен буфер 80 мс, разработчик рекомендует не опускаться ниже 0,32 с. Выбор профиля следует проверять на собственных записях и целевом оборудовании s1 s2.

Как попробовать

Официальный путь — NVIDIA NeMo Speech. После установки совместимых PyTorch, Cython и nemo-toolkit[asr] пример из карточки загружает модель и возвращает интервалы говорящих:

from nemo.collections.asr.models import SortformerEncLabelModel

model = SortformerEncLabelModel.from_pretrained("nvidia/Nemotron-3-Diarization")
model.eval()
for segment in model.diarize(audio=["meeting.wav"], batch_size=1)[0]:
print(segment)

Нужна запись с несколькими говорящими, приведённая к одноканальному аудио 16 кГц; для потокового режима дополнительно задаются согласованные параметры chunk/right-context/FIFO/cache из карточки. В официальной карточке есть и отдельные примеры AutoModelForAudioFrameClassification/AutoProcessor для Transformers из исходного кода, включая потоковую передачу speaker_cache; не следует предполагать поддержку в любой уже установленной версии пакета s1 s5.

В день анонса появились сторонние варианты: mlx-community/Nemotron-3-Diarization для Apple Silicon через mlx-audio и BF16 GGUF audio-cpp/Nemotron-3-Diarization-GGUF для audio.cpp. Это конверсии исходной NVIDIA-модели, а не новые базовые модели или официальный релиз NVIDIA для этих движков. Карточки содержат команды запуска и указывают исходный чекпойнт; публичных независимых тестов точности этих конверсий Modelium не проводил. Перед использованием проверьте совместимость текущих версий runtime и условия лицензии исходных весов s6 s7 s8 s9.

Что известно о качестве и лицензии

В авторском анонсе NVIDIA указан DER 14,72% на первоначальной версии VoiceArena Diarization-Bench: 139 англоязычных разговоров суммарной длительностью около 22 часов, с учётом наложенной речи, автоматически полученными границами речи и без допуска на границах (collar 0 мс). Это не универсальная точность на любых языках и не независимый тест Modelium; организаторы ещё завершают оценку первой версии и парный статистический анализ. Для другого набора записей NVIDIA приводит сравнение с предыдущей моделью, но настройки датасета и буфера отличны от VoiceArena, поэтому проценты нельзя смешивать s2.

HF-карточка помечена OpenMDW-1.1 и прямо разрешает коммерческие и некоммерческие применения. Текст лицензии даёт бесплатное разрешение использовать и распространять материалы модели при соблюдении условий: при распространении сохранять лицензию и уведомления о происхождении; также предусмотрено прекращение прав при некоторых исках о нарушении IP. Это открытые веса с отдельной модельной лицензией, а не утверждение, что весь стек NeMo или обучающие данные распространяются под той же лицензией. Проверяйте права на собственные аудиозаписи отдельно s1 s10.

Практическое ограничение: максимум восемь говорящих. При большем числе, шуме, реверберации или непривычном домене качество может снижаться. Сопоставление реплик с текстом ASR и идентификация людей — отдельные задачи; в чувствительных сценариях стоит измерить ошибки на собственном аудио s1 s2.