Humaneness Voice Small: четыре DPO-LoRA для локального синтеза речи

Что именно доступно

Есть два варианта состава пар предпочтений — original и rebalanced — и два ранга LoRA, 64 и 128, для каждого. Файлы original_rank064, original_rank128, rebalanced_rank064, rebalanced_rank128 опубликованы вместе с полным S3 BF16-чекпойнтом, экспортным манифестом, исходным кодом обучения и загрузчиком адаптеров. Размеры самих файлов адаптеров в манифесте HF составляют примерно 135 и 270 МБ в зависимости от ранга; это размеры файлов, а не требования к оперативной памяти или видеопамяти. s1 s2

В исходной смеси авторы использовали 715 402 обучающих пары, в перераспределённой — 447 179. Это число пар для обучения, а не количество независимых человеческих оценок качества речи. База S3 была инициализирована предобученной Qwen3-0.6B для семантической части; Talker обучался отдельно. Выходные токены нужно декодировать через MOSS Audio Tokenizer v2, который загружается отдельно. Не следует подменять S3 более поздним S10: авторы проверяли адаптеры именно с S3. s1 s3

Что показала оценка — и чего не показала

LAION опубликовала отдельный набор для парного прослушивания: исходная S3 и четыре адаптера сопоставляются на 50 сценах, 11 форматах промпта, одинаковых назначениях референсов и seed. Для каждой конфигурации указано 1 872 сопоставимых генерации; в репозитории новых адаптеров доступны 7 488 MP3, аудио S3 хранится в прежнем наборе. Есть WER и автоматические предикторы выразительности, но их оценки не равны человеческому суждению. Это авторская оценка, Modelium не запускал модели и не прослушивал корпус самостоятельно. s4 s5

По карточке авторов, точность классификации обучающих пар улучшилась для ряда категорий, но она не доказывает улучшение звучания. В перераспределённой смеси нет независимой парной проверки двух добавленных категорий — высоты голоса и качества; выравнивание по предложениям ещё не завершено. Ошибку длительности клипа нельзя выдавать за подтверждённое управление временем отдельных фраз. Выбирать «победителя» по одному числу рано: сравните на своих репликах разборчивость, голос и артефакты, начиная с парного аудио авторов. s1 s4 s5

Как пробовать локально

Скачайте закреплённую ревизию репозитория laion/Humaneness-Voice-Small-DPO-LoRAs, установите зависимости из документации исходной S3-модели, загрузите base/S3/model_bf16.pt через прилагаемую архитектуру code/ и подключите один файл адаптера через dpo_code/load_adapter.py. Для получения звука дополнительно нужен совместимый MOSS Audio Tokenizer v2. В карточке есть пример кода и ссылки на уже созданное парное аудио; это исследовательский PyTorch-стек, а не готовый AutoModel.from_pretrained() или проверенный нами однострочный запуск. Начните с опубликованного прослушивания, затем проверьте собственные сценарии и доступность нужного вам аппаратного окружения. s1 s3 s4

Права: карточка адаптеров указывает CC BY 4.0, а лицензия исходной S3-модели требует атрибуции LAION и сохранения сведений об изменениях. Это открытые веса с условием атрибуции, а не обещание, что все зависимости, наборы данных, голоса и результаты генерации свободны от отдельных прав. Лицензии Qwen3, MOSS-кодека и датасетов нужно проверять отдельно; для чужого голоса нужны надлежащие права и согласие. s1 s6 s3

Итог: новая версия интересна тем, что публикует не только DPO-веса, но и общий базовый чекпойнт, код и сопоставимое аудио. Для локального TTS-эксперимента это проверяемая отправная точка; доказательства универсального улучшения естественности речи пока нет. s1 s4