Перейти к содержанию
modelium.
Начать с задачи
←
Новость

Dia2-2B появился для MLX-Swift: локальная озвучка диалогов на Mac

На странице · 3 разделов

7 октября опубликован bf16-чекпойнт Dia2-2B для Swift-порта на MLX: сценарий с метками [S1] и [S2] превращается в единую аудиосцену с двумя говорящими. В репозитории доступны веса модели и кодека Mimi, а код порта открыт отдельно. Это англоязычный TTS-пакет для Apple Silicon; заявленные скорость и качество принадлежат автору и не проверялись Modelium.

Что вышло

7 октября 2026 года на Hugging Face опубликован mlx-community/Dia2-2B-bf16 — конверсия модели Dia2-2B от Nari Labs для MLX-Swift. В отличие от обычной озвучки отдельных реплик, сценарий с разметкой [S1] и [S2] создаёт одну сцену, где два голоса отвечают друг другу. Код Swift-порта mlx-dia2-tts-swift опубликован в тот же день; на момент проверки отдельного GitHub release у него нет. Это новый локальный порт существующей модели, а не новая базовая модель Dia2. s1 s2 s3

Практический сценарий — озвучить короткий англоязычный диалог или сцену на собственном Mac без отправки текста в облачный TTS. Порт поддерживает референсное аудио с транскриптом для первого голоса и отдельный референс для второго; автор предупреждает, что один образец сам по себе слабо фиксирует пару голосов. Нет готовых пресетов голосов, управления эмоцией и длительностью; один дубль ограничен 120 секундами, а длина сверх лимита отклоняется. s2

Что именно доступно

В закреплённой ревизии 83658abe9f3016cce50da1185fa747c66c60a69f лежат model.safetensors для Dia2, mimi.safetensors для кодека, конфигурация и токенизатор. Полный манифест Hugging Face подтверждает оба весовых файла, а не только описание карточки. Источники конверсии закреплены как nari-labs/Dia2-2B @ 7abae125... и kyutai/mimi @ 89091b3.... Файл Mimi переложен под структуру moshi-swift: обычный загрузчик Transformers MimiModel не прочитает его без адаптации. Размеры файлов — характеристика загрузки, не минимальные требования к памяти устройства. s1 s4

Код порта содержит отдельные модули Dia2, Mimi и пакет MLXDia2TTS для MLXEngine. Package.swift указывает macOS 26 и выше, MLX-Swift от 0.31.5 и MLXEngine от 0.62.0; это требования манифеста сборки, а не подтверждение запуска на каждом поддерживаемом Mac. Тег MLXEngine 0.62.0 доступен. Начать следует с README Swift-репозитория: установить совместимые зависимости, собрать swift build -c release, запустить swift test и только затем подключить пакет к приложению через пример MLXServeEngine и TTSRequest. Modelium не выполнял сборку и не синтезировал звук. s2 s5

Как оценивать качество и права

Автор порта сравнивает bf16-версию с исходной PyTorch-реализацией на собственных наборах реплик и сцен; он сообщает примерно 1,8× реального времени на M5 Max / 137 ГБ, macOS 27, mlx-swift 0.32.3. Это замер конкретной установки, не универсальная скорость и не минимальная конфигурация. У автора есть тесты соответствия кодека и декодера, но независимого воспроизведения этих результатов у Modelium нет. Для своих задач проверьте разбор реплик, сходство обоих голосов и продолжительность на собственных сценариях. s3

Лицензии разделены: исходные веса Dia2 и их bf16-конверсия — Apache-2.0, веса Mimi — CC-BY-4.0, код Swift-порта — MIT. Метка Apache-2.0 на HF-репозитории не покрывает автоматически отдельный Mimi-чекпойнт; при распространении и коммерческом использовании нужно соблюдать условия и атрибуцию каждой части. s1 s2 s6

Выбор: если нужен англоязычный диалог двух голосов внутри приложения на Apple Silicon и вы готовы интегрировать Swift-пакет, проверьте этот порт на своей машине. Если нужен готовый клик-установщик, русский язык либо гарантированная повторяемость тембра по одному референсу, опубликованные артефакты этого не обещают. s2

Источники