parakeet-ultra: Moondream открыла полновесную ASR-модель для GPU и 25 языков

Что изменено и кому полезно

По карточке разработчика, архитектура и токенизатор исходной модели сохранены; изменены веса после дополнительного обучения. Для длинных записей в модель добавлена небольшая VAD-голова: Photon находит паузы и делит запись на отрезки до 30 секунд без отдельной VAD-модели. Можно получать полный текст, метки предложений либо отдельных слов. Поддерживаются файлы и потоковое аудио s1 s3.

Выбирать Ultra имеет смысл, если уже есть совместимая NVIDIA GPU и задача чувствительна к ошибкам в шуме, многоязычной речи либо длинных переговорах. Для CPU или Apple Silicon авторы позиционируют Redux; нельзя переносить её показатели скорости и размера на Ultra s1 s3. Оценки для обычного ноутбука или минимальные требования GPU разработчик не опубликовал.

Качество: авторская оценка, не независимый тест

В таблицах Moondream средний WER (доля ошибок распознавания; меньше — лучше) на семи английских наборах снизился с 6,26% у исходного Parakeet до 5,80% у Ultra. На FLEURS по 25 языкам — с 11,62% до 9,55%; для русского отдельно — с 5,91% до 5,21%. В девяти тестах с фоновым шумом среднее составило 5,82% против 6,72% s1. Эти цифры представлены разработчиком; Modelium модели не запускал и результаты независимо не воспроизводил.

Условия сравнения важны: Ultra оценивалась в Photon на NVIDIA GPU, исходный Parakeet — в NeMo в BF16; авторы указывают общий набор файлов и пайплайн нормализации Open ASR Leaderboard на сентябрь 2026 года. Для TED-LIUM сравнивались 11 цельных выступлений по 10–20 минут: WER 1,94% у Ultra против 2,71% у оригинала. Здесь могут влиять не только веса, но и различия в сегментации длинного аудио двумя runtime s1 s4. В машинно-читаемых результатах автор отдельно помечает показатели как self-reported; его общий mean WER на восьми наборах (5,32%) не следует путать со средним по семи англоязычным наборам (5,80%) s4.

В тесте пропускной способности разработчик сравнил Photon с Ultra и NeMo с оригиналом на одном NVIDIA B200 при 128 параллельных запросах: 9743× против 6005× реального времени на LibriSpeech test-clean. Это измерение конкретных разных стеков при высокой пакетной нагрузке, не обещание ускорения одной модели на любой GPU или в одиночной транскрибации s1.

Как запустить локально

Официальный путь — Python-пакет Moondream с Photon. Анонс рекомендует moondream>=2.4.1; при запуске с device="cuda" модельные веса загружаются по идентификатору с Hugging Face. После первого скачивания обработка идёт на собственном устройстве; для воспроизводимости экспериментов закрепляйте ревизию 73175eb7..., а не ориентируйтесь лишь на изменяющийся main s1 s2 s3.

pip install --upgrade "moondream>=2.4.1"

import moondream as md

with md.photon("moondream/parakeet-ultra", device="cuda") as speech:
result = speech.transcribe(audio="meeting.wav", timestamps="word")
print(result["text"])

Код адаптирует официальный пример для Ultra, меняя идентификатор модели и устройство; наличие аппаратной совместимости и работу в конкретной системе следует проверить самостоятельно s1 s3.

Лицензия и ограничения

Веса помечены CC-BY-4.0. Условия этой лицензии допускают в том числе коммерческое использование при выполнении требований атрибуции; это не означает, что Photon и сторонние зависимости автоматически имеют ту же лицензию. Исходная карточка NVIDIA также указывает CC-BY-4.0 s1 s5 s6. Открытые веса, лицензия модели и лицензия runtime — разные вопросы. Для продакшена дополнительно проверьте лицензию установленного пакета и качество распознавания на своих акцентах, шуме и длительности аудио.