parakeet-redux: тернарная ASR-модель на 178 МБ для CPU и Apple Silicon

Что изменено

Архитектура и токенизатор исходного Parakeet сохранены, но энкодер переведён в тернарное представление s1. Поддерживаемый авторами путь запуска — Photon из пакета moondream версии 2.4.0 или новее; в свежей инструкции Moondream рекомендует moondream>=2.4.1 s4. Runtime читает упакованные веса напрямую и использует AVX-512 VNNI на x86, NEON на ARM, Metal на Apple GPU или CUDA s1.

API возвращает текст, сегментные временные метки и временные метки отдельных слов. Для длинной записи Photon использует встроенную VAD-голову модели и режет аудио по паузам на сегменты до 30 секунд s1.

Пример из официальной инструкции для записи на CPU s4:

import moondream as md
with md.photon("moondream/parakeet-redux", device="cpu") as speech:
result = speech.transcribe(audio="meeting.wav")
print(result["text"])

Производительность: только измерения автора

На восьми физических ядрах AMD EPYC 9575F авторы получили 113× реального времени; на MacBook Air M2 — 38× на CPU и 43× на GPU s1. Эти результаты относятся к конкретным машинам, runtime Photon и описанной методике. Modelium модель не тестировал.

По опубликованным авторами оценкам, средний WER на семи английских наборах составил 6,55 против 6,26 у исходного Parakeet, на FLEURS для 25 языков — 10,56 против 11,62, а на длинных записях TED-LIUM — 2,51 против 2,71 s1. В шумовых условиях результат хуже: средний WER 9,04 против 6,72 s1. Для русского в таблице FLEURS указано 7,91 против 5,91 у исходной модели s1.

Практическое значение для локального использования

Главное преимущество — небольшой файл весов и CPU-ориентированный runtime. Это делает модель интересной для локальной транскрибации, фоновой индексации аудио и приложений на Apple Silicon без обязательного дискретного GPU. Однако 178 МБ — размер файла весов, а не полное требование к оперативной памяти: runtime также использует буферы, аудиоданные и рабочую память.

Ограничения и лицензия

Карточка называет Photon поддерживаемым runtime; прежний путь через Transformers был удалён из репозитория s1 s2. Это повышает зависимость от конкретного движка. Независимых тестов скорости и качества в первоисточнике нет, а преимущество на среднем FLEURS не означает преимущество на каждом языке или в шумной записи.

Репозиторий помечен CC-BY-4.0, как и исходный NVIDIA Parakeet; отдельного файла LICENSE в текущем дереве производной модели нет s1 s5. Лицензия допускает копирование и адаптацию, включая коммерческие цели, при выполнении требований об атрибуции и указании изменений s3. Это открытые веса, но не утверждение, что весь runtime Photon или все зависимости распространяются на тех же условиях.

Следующий шаг

Перед внедрением стоит проверить WER на собственных микрофонах, языках и уровне шума, а также замерить память и скорость именно на целевом CPU или Mac.

Первоисточники

• Карточка parakeet-redux, закреплённая ревизия
• История коммитов
• Текст CC-BY-4.0
• Анонс разработчика от 22 сентября
• Исходная модель NVIDIA Parakeet