Parakeet Ultra в ONNX INT8: локальная транскрипция на CPU через sherpa-onnx

Что доступно и зачем

Репозиторий содержит encoder.int8.onnx (611 879 344 байта), decoder.int8.onnx (12 257 685 байт), joiner.int8.onnx (5 281 747 байт) и tokens.txt (93 939 байт). Манифест HF подтверждает наличие LFS-объектов в закреплённой ревизии. В сумме это около 630 МБ файлов на диске; это не оценка необходимой RAM и не минимальная аппаратная конфигурация. s2

Автор указывает тип модели nemo_transducer, 128 признаков на кадр и 8-кратное прореживание. Формат предназначен для офлайн-диктовки и интеграции в приложения, которые уже используют sherpa-onnx; GPU для самого ONNX-инференса не является обязательным по заявленному CPU-сценарию автора. Проверка совместимости пока исходит от автора конверсии, а не от Modelium. s1 s4

Как попробовать

Скачайте все четыре файла одной ревизии, не смешивая encoder, decoder или joiner с другой сборкой Parakeet. Установите sherpa-onnx и, если читаете WAV через Python, soundfile. Пример для подготовленной монофонической записи:

import sherpa_onnx
import soundfile as sf

rec = sherpa_onnx.OfflineRecognizer.from_transducer(
encoder="encoder.int8.onnx",
decoder="decoder.int8.onnx",
joiner="joiner.int8.onnx",
tokens="tokens.txt",
model_type="nemo_transducer",
feature_dim=128,
decoding_method="greedy_search",
num_threads=4,
)
audio, sample_rate = sf.read("speech.wav", dtype="float32")
stream = rec.create_stream()
stream.accept_waveform(sample_rate, audio)
rec.decode_stream(stream)
print(stream.result.text)

Сигнатура from_transducer и параметры model_type, feature_dim, num_threads есть в коде sherpa-onnx; формат и конкретные значения взяты из карточки конверсии. Проверьте частоту записи и при необходимости подготовьте звук под ожидаемый моделью режим 16 кГц. Мы не запускали этот пример на собственном оборудовании. s1 s4

Точность, скорость и лицензия: что пока нельзя обещать

Разработчик конверсии сообщает об успешном жадном декодировании одного английского эталонного фрагмента и о близости выходов отдельных ONNX-узлов к PyTorch. Это проверка работоспособности, не полноценный WER-бенчмарк INT8 на 25 языках. Приведённые в его карточке WER 5,80% по семи английским наборам и 9,55% по FLEURS относятся к исходной Parakeet Ultra в Photon на NVIDIA GPU, по собственным тестам Moondream; для этой INT8-сборки эти цифры не измерены. Заявленные около 40× реального времени на восьми ядрах автор помечает как ожидание по прежней v3 INT8, а не результат прямого замера нового пакета. Сравнивать скорости Photon/GPU и sherpa-onnx/CPU напрямую некорректно. s1 s3

Карточки конверсии, исходной Parakeet Ultra и исходной NVIDIA Parakeet v3 указывают CC BY 4.0: разрешено использование, в том числе коммерческое, при соблюдении условий атрибуции. Это открытые веса для самостоятельного запуска, но наличие ONNX-файлов само по себе не делает весь программный стек «открытым исходным кодом». При внедрении указывайте NVIDIA, Moondream и автора конверсии; проверяйте условия применяемых библиотек отдельно. s1 s3 s5

Практический вывод: сборка полезна тем, кому нужен локальный CPU-путь к качественной полновесной Parakeet Ultra вместо GPU-пути исходного релиза. До собственного теста на ваших записях не обещайте совпадения качества с исходной моделью и не планируйте производительность по оценке из карточки. Для более компактного CPU-варианта есть Parakeet Redux, но она использует другой стек. s1 s3