FluidAudio 0.17.3 запускает Parakeet Ultra и Redux локально на Apple

Что выбрать

Ultra — дообученный Parakeet с int8-энкодером размером 595 МБ на диске. По документации FluidAudio он работает на iOS 17+ и macOS 14+, использует Apple Neural Engine по умолчанию и предназначен для приложений, которым важна точность английской и многоязычной речи. Вызов отличается от прежнего v3 выбором version: .ultra; упоминание размера энкодера не является оценкой требуемой оперативной памяти. s1 s2 s4

Redux — тернарный вариант с 2-битным энкодером размером 183 МБ; полный пакет, по данным разработчиков, занимает около 220 МБ на диске против примерно 480 МБ у v3. Он требует iOS 18+ или macOS 15+ из-за используемых операций Core ML. На более старой ОС загрузчик отказывает до скачивания и предлагает Ultra. Раннее включение на Neural Engine может занять несколько минут для компиляции, затем результат кэшируется. Если фоновая транскрибация не нужна, параметр encoderComputeUnits: .cpuAndGPU обходит эту первоначальную компиляцию; GPU нельзя использовать для фоновой обработки аудио в iOS по описанию разработчиков. Это не универсальное обещание ускорения на любом Mac. s1 s3 s5

Оба пакета реально размещены в репозиториях FluidInference на Hugging Face: в каждом перечислены скомпилированные Encoder.mlmodelc, Decoder.mlmodelc, JointDecisionv3.mlmodelc, препроцессор и словари. Это конверсии исходных чекпойнтов Moondream; редакция не проверяла запуск на устройстве и не объявляет их официальными пакетами NVIDIA. s4 s5

Что говорят авторские тесты

В релизной таблице FluidAudio на полных LibriSpeech test-clean (2620 файлов) и test-other (2939 файлов) WER для v3 / Redux / Ultra составил соответственно 2,27 / 2,71 / 2,13% и 4,12 / 5,12 / 3,81%. Меньший WER означает меньше ошибок распознавания. Документация описывает общий для трёх вариантов путь декодирования, одинаковый подсчёт ошибок и сравнение на одном Mac серии M с Apple Neural Engine. s1 s2 s3

Redux уменьшает загрузку, но проигрывает v3 на этих английских наборах. Ultra показывает лучшую точность здесь при близкой к v3 скорости: на test-clean 126,7× против 128,6× реального времени; Redux — 83,9×. Авторы также приводят многоязычную оценку FLEURS, однако сводка релиза и подробная документация неодинаково описывают выбор вычислителя для этого измерения, поэтому мы не используем её как сопоставимый аппаратный бенчмарк. Это замеры авторов конкретной Core ML-конверсии, а не независимый тест Modelium и не сравнение с Photon на NVIDIA GPU из первоначального анонса Moondream. Для собственного сценария проверьте WER на записях с нужными акцентами, шумом и длительностью. s1 s2 s3

Как подключить

Выберите тег v0.17.3 для зависимости FluidAudio в Swift Package Manager. Для существующего приложения с AsrManager измените загрузку модели, оставив дальнейшие вызовы инициализации и транскрибации по примеру автора: s1 s4

let models = try await AsrModels.downloadAndLoad(version: .ultra)
let asr = AsrManager()
try await asr.initialize(models: models)
let result = try await asr.transcribe(audioFileURL)

Чтобы выбрать компактный вариант на поддерживаемой ОС, замените .ultra на .redux. Для локального CLI в том же релизе разработчики показывают swift run fluidaudiocli transcribe audio.wav --model-version ultra; указывайте redux вместо ultra только при выполнении требований к ОС. Сначала веса скачиваются из Hugging Face, затем транскрибация выполняется локально через Core ML. Для воспроизводимости зафиксируйте версию библиотеки и ревизию весов: репозитории моделей могут обновляться независимо от тега runtime. s1 s2 s3 s4 s5

Лицензия и границы утверждений

Репозитории обеих Core ML-конверсий и исходные чекпойнты Moondream маркированы CC BY 4.0; код FluidAudio распространяется под Apache 2.0. Лицензия весов и лицензия runtime не совпадают и требуют отдельного соблюдения их условий. Размеры файлов не устанавливают минимальную RAM, а релизные результаты FluidAudio не доказывают качество на ваших данных. s4 s5 s6 s7 s8