MOSS v2 12→32 Enhancer 60M: веса для локального аудио готовы, но улучшение качества не доказано

Что изменилось 2 октября

Экспериментальный MOSS v2 12-to-32 Enhancement Talker от LAION теперь имеет законченный чекпойнт: на закреплённой ревизии 280d0c54cba3521bf34897e1f465aab1f85fda43 доступны корневые config.json, model.safetensors, код загрузчика и результаты оценки. Репозиторий создан 1 октября; 2 октября завершён один проход обучения, а не впервые выпущено всё семейство MOSS. training/progress.json фиксирует шаг 64 699 из 64 699 и состояние complete. Корневой файл весов соответствует выбранному автором шагу 64 699; манифест указывает 243 450 496 байт для файла. Размер файла не означает минимальную RAM или VRAM. s1 s2

Это узкий компонент аудиотракта, а не универсальная модель шумоподавления звуковой волны. Она принимает 12 индексов кодбуков MOSS Audio Tokenizer v2 на кадр, предсказывает 32 индекса и использует до десяти предыдущих сгенерированных кадров контекста. Частота кадров — 12,5 Гц. Чтобы получить WAV, нужен отдельный декодер MOSS Audio Tokenizer v2; исходные 12 индексов также нужно получить в совместимом формате. Преобразование не добавляет временных кадров, и реальная скорость работы не следует из частоты 12,5 Гц. Это не автоматическое улучшение произвольного MP3-файла. s1 s4

Что говорят результаты — и чего не говорят

LAION выбрала лучший чекпойнт по кросс-энтропии дополнительных 20 кодбуков на 1024 отложенных кадрах: 5,818123. Это авторская мера предсказания токенов с teacher forcing, не субъективное качество речи. Для финального шага авторы также выложили 50 десятисекундных записей, по два входных случая на запись, и машинно-читаемые оценки 250 аудиофайлов, включая референсы. Сравнение ведётся с реконструкцией того же кодека, а не с оригинальным PCM. s1 s2 s3

По этим авторским, независимо не воспроизведённым оценкам, для чистого 12-кодового входа средний STOI после обработки падает с 0,9573 до 0,9388; улучшений нет ни на одной из 50 записей по этой метрике. DNSMOS OVRL тоже немного снижается — с 3,3302 до 3,3195. Для аугментированного входа DNSMOS OVRL слегка растёт с 3,2928 до 3,3025, но STOI падает с 0,9522 до 0,9329. Нельзя по одному показателю заявить ни гарантированное улучшение звука, ни одинаковое ухудшение для каждого слушателя: здесь короткие отрывки, MP3 в тракте измерения и не было независимого прослушивания Modelium. Сама карточка не заявляет доказанного прироста MOS, WER или сходства голоса. s1 s3

Как пробовать локально

В репозитории опубликованы PyTorch-пакет и пример moss_enhancer.inference: загрузчик load_enhancer читает корневые config.json и model.safetensors по ID модели или закреплённой ревизии; enhance_sequences ждёт массив [frames, 12] целочисленных индексов в диапазоне 0–1023 и выдаёт [frames, 32]. Декодер скачивает отдельные веса MOSS Audio Tokenizer v2 и использует закреплённую ревизию его кода с trust_remote_code=True — перед запуском стороннего кода проверьте доверие к источнику. Карточка показывает CUDA-примеры, а реализация загрузчика предусматривает CPU; скорость, память и качество на конкретной машине мы не измеряли. Для воспроизводимого сравнения закрепите ревизию обеих моделей и начните с собственного небольшого корпуса с оригиналом, реконструкцией из 12 кодбуков и обработанным звуком. s1 s4

Права: веса — CC BY-NC 4.0, то есть публично доступны, но коммерческое использование не разрешено без отдельного права; оригинальный код пакета помечен MIT. У отдельного аудиокодека своя лицензия Apache-2.0. Открытость кода не делает веса коммерчески свободными. Для продуктовой цепочки сейчас разумнее рассматривать это как исследовательский прототип, а не готовый способ поднять качество речи. s1 s5