YuE2-3B: локальная генерация песен с редактируемой мелодией

Что именно вышло и зачем это нужно

YuE2-3B умеет не только создавать песню, но и сохранять её музыкальный план: мелодию и аккорды в формате ABC, то есть в текстовой записи нот. План можно отредактировать и попросить модель сделать новую версию. Это полезно, если нужно поменять гармонию или стиль, а не каждый раз начинать песню с нуля. Можно работать и с уже существующей записью, однако для кавера сначала понадобится отдельно получить её мелодию и сверить слова; одной кнопкой это не делается. s1 s2

Разработчики выложили основной файл весов, а также отдельный YuE2-Vae — компонент, который преобразует внутреннее представление музыки в слышимое аудио. Оба репозитория доступны на Hugging Face. Наличие весов означает возможность локального запуска, но не делает приложение бесплатным для любой цели: основные веса и собственный код проекта распространяются по CC BY-NC 4.0, то есть обычная лицензия не разрешает коммерческое использование. У сторонних компонентов условия могут отличаться. s1 s2 s3 s4

Можно ли попробовать на домашнем компьютере

По документации авторов, основной путь требует Linux, Python 3.10 или новее, видеокарту NVIDIA с поддержкой BF16 и 24 ГБ видеопамяти, а также 24 ГБ доступной оперативной памяти. Это требования, указанные авторами для их способа запуска, а не универсальный минимум для всех будущих версий и оптимизаций. Модель и дополнительный аудиодекодер нужно заранее загрузить из сети. Mac, Windows и компьютер без такой NVIDIA-карты не следует считать подтверждёнными платформами для описанного пути. s1

Если машина подходит, начните с раздела Quick start в официальной карточке: там указан пакет yue2_infer-0.1.5, пример загрузки модели и сохранения результата в song.flac. Не смешивайте его с отдельным GitHub-релизом yue2-v0.1.6, который обновил упаковку и командный интерфейс. Полный запуск на оборудовании редакции не проводился — это разбор документации, а не испытанная Modelium инструкция. s1 s2

Небольшой собственный пример задачи: опишите стиль как «спокойная акустическая баллада, гитара и мягкий вокал», а текст начните строками «На окне остался свет / Пока весь город спит». Это пример входных данных, не обещание конкретного звука. Авторы помечают модель для английского и китайского языков; качество русскоязычного вокала не подтверждено. После генерации проверьте, что файл FLAC действительно открывается, слова различимы, а мелодия и длительность подходят вашей задаче. s1

Насколько убедительны сравнения качества

В карточке авторы приводят результаты WildSongBench для 192 запросов и сравнивают YuE2 с закрытыми сервисами. Их показатель best-of-8 означает выбор лучшего результата из восьми кандидатов, а не качество единственной попытки. Оценки рассчитаны по методике самих разработчиков; Modelium не воспроизводил сравнение и не называет YuE2 «лучше Suno» по этим цифрам. Для собственного выбора послушайте авторские примеры и сравните на своём тексте, учитывая лицензию и доступное железо. s1

Следующий шаг: откройте официальную карточку YuE2-3B, проверьте Quick start и условия CC BY-NC 4.0 до загрузки весов. Если нужно подготовить мелодию из записи для последующего кавера, у Modelium есть отдельный материал о SheetSage2 на Mac — это другая задача, не обязательный компонент простого создания песни. s1 s3