Humaneness Voice Converter: новая локальная модель для смены голоса в записи

Что именно выпустили?

Humaneness Voice Converter — исследовательская модель для конвертации голоса: ей подают исходную речь и отдельную запись целевого голоса, а она выдаёт WAV. LAION опубликовала полный файл весов model.safetensors, код infer.py и компоненты для обработки звука, а не только небольшой адаптер к отсутствующей модели. Модель основана на Chatterbox от Resemble AI; авторы отдельно указывают происхождение включённых компонентов. s1 s3 s4

Это другое назначение, чем у Humaneness Voice Small Acting: та модель озвучивает текст с актёрскими подсказками, а Converter изменяет уже записанную речь. Не стоит скачивать одну в надежде получить функции другой.

Что нужно для локального опыта?

Разработчики описывают путь через Python, установленный PyTorch с поддержкой NVIDIA CUDA, зависимости из requirements.txt и загрузку репозитория с Hugging Face. Затем их infer.py принимает два файла: исходную речь от 1 до 30 секунд и короткий образец целевого голоса; для сопоставимых результатов советуют чистый образец одного говорящего длительностью 5–10 секунд. Результат — новый WAV-файл. Это инструкция по документации авторов, а не запуск, воспроизведённый Modelium: проверка авторов проведена в существующей среде JUPITER, а совместимость установки с чистого компьютера и минимум видеопамяти не опубликованы. Не выводите требования к памяти из размера файла весов и не считайте серверную конфигурацию авторов бытовым минимумом. s1 s4

Для простого самоконтроля возьмите свою короткую фразу «Встречаемся завтра в полдень» и образец голоса согласившегося участника. После получения файла послушайте, сохранились ли слова, время и понятность речи; отдельно сравните тембр с разрешённым образцом. Это пример редакции для проверки, не обещание конкретного звучания и не свидетельство проведённого нами запуска. Не используйте чужую запись без права на неё. s1

Насколько хорошо модель сохраняет голос и смысл?

Авторы сравнили версии на специально отобранных 40 исходных записях и двух голосах-образцах. По их автоматической оценке, показатель сходства с целевым голосом у нового варианта — 0,773, у исходного Chatterbox — 0,821: по этой метрике новый вариант уступил базе. Оценки «приятности содержания» и качества звука, напротив, выросли с 6,169 до 6,453 и с 7,766 до 8,009. Эти оценки сделаны в том числе системой того же семейства, что участвовала в обучении; выборка не является слепым независимым прослушиванием. Авторы не представили независимую человеческую оценку или подтверждение точности распознавания слов для релиза. Поэтому числа не доказывают, что конвертация будет узнаваемой или безошибочной на вашей записи. s1 s4

Можно ли использовать и распространять?

LAION помечает собственные изменения как CC BY 4.0 и просит сохранять указание на оригинальный Chatterbox, компоненты которого имеют отдельную MIT-атрибуцию; для встроенного оценщика указаны отдельные условия CC BY 4.0. Метка лицензии весов не даёт права распоряжаться голосом другого человека или его записью. Авторы рекомендуют согласие говорящего, раскрытие синтетической природы аудио и отказ от выдачи себя за другого; это их этические рекомендации, а не дополнительные условия самой CC BY. Перед коммерческим применением отдельно проверяйте права на исходные записи и каждый компонент. s1 s3

Вывод: если задача — исследовать перенос манеры между двумя разрешёнными записями и есть опыт настройки CUDA/Python, теперь доступен цельный локальный чекпойнт. Если нужен простой домашний интерфейс или гарантированное копирование голоса, нынешний релиз такого обещания не даёт. Первый следующий шаг — прочитать карточку и ограничения LAION, прежде чем скачивать веса. s1