Voxtral Realtime: 8-битные MLX-веса для расшифровки речи на Mac

Если нужно получать текст во время разговора на Mac, у Voxtral Mini 4B Realtime появился ещё один вариант локальных весов. 14 октября 2026 года независимый автор flo5k5 выложил 8-битную версию для Apple Silicon. Это не новая модель Mistral, а более компактное представление уже существующей модели распознавания речи. Проверено по состоянию на 14 октября; закреплённая версия пакета — 6076016871af66b8db9da3425d1e06b69fdaf633. s1 s2 s3

Что изменилось для владельца Mac

MLX — библиотека для запуска моделей на компьютерах Apple. В этом пакете числа весов представлены в 8-битном формате; файл model.safetensors занимает 4 728 159 038 байт на диске, а вместе с ним доступны настройки, индекс весов и словарь токенов. Это размер файла, не минимальная оперативная память. Репозиторий открыт без запроса доступа. В официальном руководстве программы mlx-audio уже описан запуск семейства Voxtral Realtime, но новая конверсия принадлежит стороннему автору. s1 s2 s4

Зачем ещё одна версия? Автор сравнил её с 16-битной и собственной 6-битной конверсиями. На Mac M5 Pro с 64 ГБ общей памяти при потоковой обработке 40 фрагментов медианное время до первого текста у 8-битной версии составило 1,8 секунды после начала звука против 5,4 секунды у 16-битной. Для оценки ошибок он использовал 120 французских записей Common Voice 17: средняя доля ошибочных слов по фрагментам составила 8,8% для 8-битной, 8,6% для 6-битной и 9,7% для 16-битной версии. Это измерения автора на конкретной выборке и машине; небольшие различия не доказывают, что одна версия точнее другой вообще. Другие языки, включая русский, в этом сравнении не проверялись. s1 s5

Кому пробовать и что проверить

Вариант имеет смысл, если у вас Mac с Apple Silicon, вы готовы устанавливать Python-пакет mlx-audio и хотите сравнить отставание живой расшифровки на собственной записи. Начните с карточки 8-битного пакета и документации mlx-audio: там указаны имя модели и пример работы с файлом speech.wav. После загрузки возьмите короткий фрагмент своей речи, сравните текст с записью, отдельно отметьте пропущенные имена и цифры. Это инструкция по документации, а не воспроизведённый запуск Modelium. s1 s4

Для простого опыта без программирования этот выпуск пока не предлагает отдельного приложения с кнопкой установки. У mlx-audio уже есть официальный пример 4-битной версии той же модели; новая 8-битная не объявлена заменой и не сравнивалась с ней в опубликованных измерениях автора. Конфигурация M5 Pro с 64 ГБ — только его тестовая машина, минимальные требования для новой конверсии не установлены. s1 s4

Что известно о правах

Карточки исходной модели Mistral и этой производной указывают Apache 2.0; отдельного файла LICENSE в закреплённом репозитории весов нет. Код mlx-audio распространяется по MIT. Доступные веса, лицензия модели и лицензия программы — разные вещи; перед коммерческим использованием проверьте условия по ссылкам на исходные репозитории. s1 s3 s6

Следующий шаг: откройте карточку 8-битной модели и проверьте её на собственной короткой записи. Если сначала нужно понять, что умеет сама программа, смотрите обновление mlx-audio для потокового Voxtral; для более простой диктовки есть руководство по локальному Whisper в Open WebUI.