Перейти к содержанию
modelium.
Начать с задачи
←
Новость

Whisper base для LiteRT: локальная транскрипция с временными метками слов

На странице · 3 разделов

1 октября 2026 года Kairoi опубликовала конверсию Whisper base в один файл LiteRT/TFLite: модель возвращает логиты распознавания и cross-attention для вычисления временных меток слов на устройстве. Файл весит 78 307 600 байт; доступны исходный скрипт конверсии и закреплённая ревизия. Это компонент для интеграции, а не готовое приложение или независимо проверенный ASR-бенчмарк.

Whisper base в LiteRT: метки слов из одного локального пакета

1 октября 2026 года Kairoi загрузила конверсию OpenAI Whisper base для LiteRT/TFLite с выходом cross-attention выравнивающих голов. В репозитории лежат модель whisper_base_align_i8.tflite, токенизатор и скрипт конверсии; история Hugging Face показывает первоначальную загрузку в этот день. Это новые подготовленные для устройства файлы уже существующей модели, а не новая версия базового Whisper или самостоятельное приложение. s1 s2 s3

Что меняется для разработчика

Пакет определяет три сигнатуры: encode принимает log-mel представление до 30 секунд, decode выдаёт логиты текущего токена, align возвращает матрицу cross-attention размерности [8, 128, 1500]. После распознавания эту матрицу можно использовать для выравнивания текстовых токенов с аудио — автор ссылается на алгоритм Whisper с медианной фильтрацией и динамическим сопоставлением (DTW). Выравнивание получается из той же модели без отдельного весового пакета для forced alignment. При этом 128 позиций токенов, подготовка mel-спектрограммы, декодирование и постобработка остаются обязанностью интегратора: один .tflite не является готовой командой «аудио → текст с таймкодами». s1 s3

По данным HF API, файл модели занимает 78 307 600 байт; в закреплённой ревизии его LFS SHA-256 — 89039546781546ae51fa6b3044f447cdfc268f957a44975744022974f67fdfde. Это размер загрузки на диске, не минимальное требование к RAM. Для воспроизводимой интеграции стоит закрепить commit b57f67c657547f1f820722648132e048eb5362ee, скачать модель и токенизатор именно из него, проверить контрольную сумму и самостоятельно проверить доступность трёх сигнатур в своей сборке LiteRT. Скрипт конверсии указывает исходный openai/whisper-base на ревизии e37978b90ca9030d5170a5c07aadb050351a65bb и фиксирует версии основных библиотек; запуск и мобильную совместимость Modelium не тестировал. s2 s3 s4

Чего не доказывают авторские замеры

Карточка сообщает тест на Pixel с шестью потоками и 24 фрагментами LibriSpeech dev-clean общей длительностью 204 секунды: WER 7,86% для этого пакета против 7,66% у указанной автором ранее опубликованной LiteRT-сборки Whisper base, а скорость — 2,54× против 2,27× реального времени. Доли начала слов в пределах 100 мс от Montreal Forced Aligner автор приводит отдельно, с поправкой на смещение референса. Это замеры автора на конкретной выборке, а не независимое сравнение на разных языках, устройствах и условиях записи; точная модель Pixel в карточке не указана. Точность русских таймкодов из этих чисел вывести нельзя. s1

Права и практический выбор

Карточка нового пакета обозначает MIT и включает текст лицензии Whisper от OpenAI, а исходный чекпойнт openai/whisper-base в HF помечен Apache-2.0; издатель приложил также LICENSE-APACHE. Поэтому при перераспространении нужно проверить уведомления и условия обоих исходных артефактов, не подменяя лицензирование весов маркировкой конверсионного скрипта. Открытый файл весов, опубликованный код конверсии и возможность коммерческого использования — разные вопросы. s1 s4 s5

Выбирайте эту сборку, если в приложении уже есть собственный LiteRT-пайплайн Whisper и требуется экспериментировать с временными метками слов без второго выравнивающего чекпойнта. Если нужен готовый CLI, работающий рецепт интеграции или подтверждённая точность для русского, эта публикация их пока не предоставляет: сперва проверьте свой язык, подготовку аудио и поведение таймкодов на собственном корпусе. s1 s3

Источники