# Parakeet Ultra в ONNX INT8: локальная транскрипция на CPU через sherpa-onnx Источник: https://modelium.tech/zhurnal/parakeet-ultra-onnx-int8-cpu-sherpa-offline/ 24 сентября 2026 года mldecode выложил неофициальную INT8-конверсию Moondream Parakeet Ultra для офлайн-распознавания речи через sherpa-onnx на CPU. В репозитории есть encoder, decoder, joiner и словарь токенов; автор проверил декодирование одного английского примера. Метрики качества исходной модели нельзя автоматически переносить на эту квантизацию. ## Что произошло 24 сентября 2026 года разработчик mldecode загрузил на Hugging Face **неофициальную ONNX INT8-конверсию** `moondream/parakeet-ultra`. История репозитория фиксирует загрузку трёх ONNX-файлов и словаря около 15:03 UTC; текущий проверенный снимок — ревизия `3282a6e32885b431c1543d58c7710e6e3412eac0`. Это не новый чекпойнт Moondream и не официальный релиз sherpa-onnx: новое событие — доступный пакет для CPU-инференса без стека PyTorch/NeMo в самом приложении. [s1](#src-s1) [s2](#src-s2) Moondream ранее выпустила полновесную Parakeet Ultra с поддержкой 25 европейских языков, в том числе русского и украинского. На Modelium есть [разбор исходной модели](/zhurnal/parakeet-ultra-06b-gpu-multilingual-asr/); здесь речь именно о стороннем формате исполнения. [s3](#src-s3) ## Что доступно и зачем Репозиторий содержит `encoder.int8.onnx` (611 879 344 байта), `decoder.int8.onnx` (12 257 685 байт), `joiner.int8.onnx` (5 281 747 байт) и `tokens.txt` (93 939 байт). Манифест HF подтверждает наличие LFS-объектов в закреплённой ревизии. В сумме это около 630 МБ файлов на диске; **это не оценка необходимой RAM и не минимальная аппаратная конфигурация**. [s2](#src-s2) Автор указывает тип модели `nemo_transducer`, 128 признаков на кадр и 8-кратное прореживание. Формат предназначен для офлайн-диктовки и интеграции в приложения, которые уже используют sherpa-onnx; GPU для самого ONNX-инференса не является обязательным по заявленному CPU-сценарию автора. Проверка совместимости пока исходит от автора конверсии, а не от Modelium. [s1](#src-s1) [s4](#src-s4) ## Как попробовать Скачайте **все четыре файла одной ревизии**, не смешивая encoder, decoder или joiner с другой сборкой Parakeet. Установите `sherpa-onnx` и, если читаете WAV через Python, `soundfile`. Пример для подготовленной монофонической записи: import sherpa_onnximport soundfile as sfrec = sherpa_onnx.OfflineRecognizer.from_transducer( encoder="encoder.int8.onnx", decoder="decoder.int8.onnx", joiner="joiner.int8.onnx", tokens="tokens.txt", model_type="nemo_transducer", feature_dim=128, decoding_method="greedy_search", num_threads=4,)audio, sample_rate = sf.read("speech.wav", dtype="float32")stream = rec.create_stream()stream.accept_waveform(sample_rate, audio)rec.decode_stream(stream)print(stream.result.text) Сигнатура `from_transducer` и параметры `model_type`, `feature_dim`, `num_threads` есть в коде sherpa-onnx; формат и конкретные значения взяты из карточки конверсии. Проверьте частоту записи и при необходимости подготовьте звук под ожидаемый моделью режим 16 кГц. Мы не запускали этот пример на собственном оборудовании. [s1](#src-s1) [s4](#src-s4) ## Точность, скорость и лицензия: что пока нельзя обещать Разработчик конверсии сообщает об успешном жадном декодировании **одного английского эталонного фрагмента** и о близости выходов отдельных ONNX-узлов к PyTorch. Это проверка работоспособности, не полноценный WER-бенчмарк INT8 на 25 языках. Приведённые в его карточке WER 5,80% по семи английским наборам и 9,55% по FLEURS относятся к **исходной Parakeet Ultra в Photon на NVIDIA GPU**, по собственным тестам Moondream; для этой INT8-сборки эти цифры не измерены. Заявленные около 40× реального времени на восьми ядрах автор помечает как ожидание по прежней v3 INT8, а не результат прямого замера нового пакета. Сравнивать скорости Photon/GPU и sherpa-onnx/CPU напрямую некорректно. [s1](#src-s1) [s3](#src-s3) Карточки конверсии, исходной Parakeet Ultra и исходной NVIDIA Parakeet v3 указывают **CC BY 4.0**: разрешено использование, в том числе коммерческое, при соблюдении условий атрибуции. Это открытые веса для самостоятельного запуска, но наличие ONNX-файлов само по себе не делает весь программный стек «открытым исходным кодом». При внедрении указывайте NVIDIA, Moondream и автора конверсии; проверяйте условия применяемых библиотек отдельно. [s1](#src-s1) [s3](#src-s3) [s5](#src-s5) **Практический вывод:** сборка полезна тем, кому нужен локальный CPU-путь к качественной полновесной Parakeet Ultra вместо GPU-пути исходного релиза. До собственного теста на ваших записях не обещайте совпадения качества с исходной моделью и не планируйте производительность по оценке из карточки. Для более компактного CPU-варианта есть [Parakeet Redux](/zhurnal/parakeet-redux-ternary-asr-local-photon/), но она использует другой стек. [s1](#src-s1) [s3](#src-s3) ## Источники 1. [mldecode — Parakeet Ultra ONNX INT8, карточка закреплённой ревизии](https://huggingface.co/mldecode/parakeet-ultra-onnx-int8/blob/3282a6e32885b431c1543d58c7710e6e3412eac0/README.md) — получено 2026-09-24 2. [Hugging Face API — файлы и история ревизии ONNX-конверсии](https://huggingface.co/api/models/mldecode/parakeet-ultra-onnx-int8/tree/3282a6e32885b431c1543d58c7710e6e3412eac0?recursive=true&expand=true) — получено 2026-09-24 3. [Moondream — официальная карточка Parakeet Ultra](https://huggingface.co/moondream/parakeet-ultra/blob/73175eb7aeb0d82f1e2a6b53b3aabc10a90bcd0b/README.md) — получено 2026-09-24 4. [sherpa-onnx — API OfflineRecognizer.from_transducer](https://github.com/k2-fsa/sherpa-onnx/blob/master/sherpa-onnx/python/sherpa_onnx/offline_recognizer.py) — получено 2026-09-24 5. [NVIDIA — карточка исходной Parakeet TDT 0.6B v3](https://huggingface.co/nvidia/parakeet-tdt-0.6b-v3/blob/541d1f99c6b0c3cd0b11a95167540bb8edefd82b/README.md) — получено 2026-09-24