Nemotron 3 Diarization в ONNX: локальная разметка спикеров на CPU без PyTorch

Зачем это локальному запуску

Модель отвечает на вопрос «кто и когда говорил» и записывает результат в RTTM; распознавание слов нужно подключать отдельно. Авторская обвязка выполняет офлайн-диаризацию целой записи на CPU, без PyTorch в рабочем окружении. Она обрабатывает аудио по шагам, а до восьми голосов отслеживает в порядке первого появления. Граф model.int8.onnx используется по умолчанию; model.onnx оставлен как fp32-альтернатива. Экспортирован именно офлайн-путь с шагом 30,4 секунды: не следует путать его с низколатентным streaming-режимом исходной модели, которого в этой конверсии пока нет. s1 s2

По манифесту HF, весовой граф int8 занимает 103 726 888 байт, fp32 — 397 426 956 байт, граф препроцессора — 135 897 байт. Это размеры файлов, не требования к RAM: автор отдельно измерял пиковую память процесса, и она меняется с длительностью записи. s1 s4

Как попробовать

Скачайте закреплённую ревизию репозитория, установите зависимости и запустите CLI из его каталога:

hf download joosthel/Nemotron-3-Diarization-ONNX \
--revision 4a911fc3ca821b76a99fffd5ce5135bd1efca540 \
--local-dir ./nemotron-onnx
cd ./nemotron-onnx
python -m pip install -r requirements.txt
python diarize.py meeting.wav --out meeting.rttm

Команда взята из инструкции автора и не является результатом тестирования Modelium. По умолчанию загружается int8; для fp32 автор предлагает --model model.onnx. Код требует аудио 16 кГц и отклоняет другую частоту дискретизации: файл нужно предварительно ресемплировать; многоканальную запись обвязка сводит в моно. Выход — разметка спикеров, а не текст расшифровки. Минимальные версии зависимостей указаны в requirements.txt. s1 s5

Что показала проверка автора

Разработчик сравнил модель с PyTorch-эталоном на 16 встречах AMI test, Mix-Headset, с принудительно выровненной разметкой, нулевым collar, учётом перекрывающихся реплик и порогом 0,5. У него получились DER 9,226% для PyTorch, 9,225% для ONNX fp32 и 9,248% для ONNX int8. Это авторская проверка, а не независимый бенчмарк Modelium. Скрипты и подробные результаты включены в репозиторий. s1 s6

Автор измерил скорость на Linux с Intel Core i9-13900HX, когда процессор не занят другой нагрузкой. На встрече ES2004a длительностью 17,5 минуты при четырёх потоках RTF составил 0,018 для fp32 и 0,011 для int8, пиковый RSS — 999 и 568 МБ соответственно. RTF не включает загрузку модели; опубликованные значения времени загрузки сняты при тёплом файловом кеше. Это результаты конкретного оборудования, а не обещание такой же скорости на другом CPU. Для более длинных файлов автор прямо предупреждает о росте памяти. s1 s6

Ограничения и лицензия

Предел модели — восемь отслеживаемых говорящих. На записях, где реальных голосов больше, качество может падать, а int8 и fp32 могут расходиться по отдельным назначениям спикеров. В отчёте автора исходный критерий совпадения int8 с fp32 не прошёл на одном файле VoxConverse с 13 говорящими; после этого автор пересмотрел критерий и сравнил оба варианта с разметкой. Два рассмотренных файла сверх лимита не доказывают, что int8 в общем случае точнее fp32. Для критичных сценариев нужна собственная проверка на своём аудио. s1 s6

Исходный чекпойнт NVIDIA и этот пакет помечены лицензией OpenMDW 1.1, а не Apache 2.0. Текст разрешает использование, изменение и распространение, в том числе коммерческое, при соблюдении условий: при распространении материалов нужно сохранить копию лицензии и применимые уведомления о происхождении; есть также условие прекращения прав при определённых исках об интеллектуальной собственности. Автор приложил LICENSE и NOTICE, указал исходную ревизию NVIDIA. Открытые веса, открытый исходный код, бесплатный доступ и коммерческое разрешение — разные свойства; условия проверяйте в лицензии перед внедрением. s2 s7 s8

Контекст: об исходной модели NVIDIA и её потоковом режиме мы писали отдельно. Здесь новость именно о самостоятельной ONNX-конверсии и CPU-режиме; один материал не заменяет другой.