Nemotron 3 Diarization: ONNX-пакет Goodnotes для Intel NPU на Windows

Для какой задачи и в чём изменение

Diarization отвечает на вопрос «кто говорил и когда». Исходный Nemotron 3 Diarization от NVIDIA работает с аудио; эта публикация предназначена для локальной обработки в Windows x64 на Intel NPU. Автор пакета развернул по 62 узла RotaryEmbedding и SkipLayerNormalization в стандартные операции ONNX и закрепил формы входов, необходимые его пути через Windows ML и NPU. Источником указан ONNX-чекпойнт onnx-community/Nemotron-3-Diarization-ONNX в ревизии 353b6f8ad2cac3580e982d7fbdf0a010786b0406; в манифесте отдельно зафиксированы формы input_features [1,1056,128], attention_mask [1,436] и cached_embeds [1,304,512]. Это существенно для интегратора: произвольную длину и предобработку нельзя подставить вместо ожидаемых тензоров без собственного конвейера. s1 s2 s3

Манифест описывает именно трансформированный граф: его итоговый SHA-256 отличается от поля source.modelSha256 для исходного ONNX, но совпадает с записью files и LFS-артефактом текущей ревизии. Такой разный хеш не является признаком отсутствующих весов. s2

Что показали авторские тесты

GoodnotesLtd сообщает, что на Intel Core Ultra 5 325 с Windows build 26200 граф загружался при отключённом CPU fallback. В своей оценке на 36 записях AMI SDM авторы получили micro DER 33,44% против 33,34% у текущей продуктовой версии с CPU fallback, а медианное значение diarization real-time factor — 0,0073 против 0,0561. Это разные метрики: меньший RTF в данном тесте означает более быструю обработку, но DER слегка хуже; один пример ухудшился на 2,50 процентного пункта DER. s1

Отдельно на 16 записях AMI headset-0 авторы указывают micro DER 36,41% на NPU против 36,85% при CPU fallback пакетного графа; медианный RTF — 0,0070 против 0,0574. Выборки и базовые конфигурации различаются, поэтому не стоит объединять их в одну оценку качества или переносить результаты на другие микрофоны и устройства. По авторскому профилированию пятисекундного фрагмента, внутри каждого ONNX-графа был один OpenVINO provider kernel без CPU provider nodes. Подготовка аудио и часть обработки говорящих при этом всё ещё работают на CPU: формулировка «всё на NPU» была бы неверной. Modelium эти замеры не повторял. s1

Практическое решение и ограничения

Пакет стоит рассмотреть разработчику Windows x64 + Intel NPU, который уже строит собственный конвейер diarization и готов проверить совпадение форм тензоров, провайдера выполнения, постобработки и качества на своём аудио. Он не заменяет готовое приложение: в карточке нет публичного универсального рецепта сборки полного Goodmeet-конвейера и проверенной для стороннего проекта команды запуска. На другой версии Windows или Intel NPU результаты авторского теста не гарантированы. Размер файла весов — характеристика загрузки, а не минимальное требование к ОЗУ или NPU. s1 s2

Карточка пакета помечена OpenMDW-1.1; NVIDIA такой же меткой помечает исходную модель и отдельно заявляет пригодность исходной модели для коммерческого и некоммерческого использования. В производном репозитории нет отдельного файла LICENSE: перед коммерческой интеграцией или повторным распространением надо самостоятельно проверить применимые полные условия, не приравнивая метку к открытому исходному коду или безусловному праву на перераспространение. s1 s4

Следующий шаг: сначала сравнить опубликованные входные формы и контрольные суммы с собственным Windows/NPU-окружением, затем отдельно протестировать загрузку графа и полный diarization pipeline на своих записях; авторские результаты AMI служат ориентиром, а не подтверждением такого запуска в вашей системе. s1 s2