MOSS Voice Captioner: две модели описывают голос и отдельные звуки

В чём разница между моделями

Voice Captioner принимает запись и описывает голос, манеру речи, слышимые эмоции, неречевые звуки и звуковую обстановку целиком. Vocal Burst Captioner получает ту же полную запись и указанные человеком начало и конец отрезка в секундах, затем описывает событие внутри него. Вторая модель сама не ищет момент смеха или вздоха: для автоматического поиска интервалов у авторов есть отдельный компонент Humaneness Ears. Обе модели создают описания, а не дословную расшифровку сказанного. s1 s2

Например, редактор аудио может выбрать отрезок записи с заметным вздохом и получить предварительное словесное описание этого эпизода. Проверка результата здесь простая: прослушать тот же отрезок и сравнить, действительно ли слышны названные признаки. Английский язык вывода и отсутствие проверки на русском аудио ограничивают применение для русскоязычного архива. s1 s2

Что доступно для локального запуска

В каждом из двух репозиториев находятся четыре весовых файла базовой MOSS-Audio-8B-Instruct, отдельный дообученный адаптер LoRA и код запуска. LoRA — небольшой набор изменений исходной модели, а не самостоятельно работающая модель; базу отдельно скачивать не требуется. Проверка списка файлов и индекса весов на закреплённых версиях подтверждает наличие всех четырёх частей в каждом репозитории. Это открытые для скачивания веса и код, но не компактный пакет с готовым графическим интерфейсом. s1 s2

Авторы дают команды установки Python-зависимостей и запуска на MP3. Для первого знакомства это инженерный путь, а не обещание работы на любом домашнем ноутбуке. Они рекомендуют CUDA-видеокарту с поддержкой BF16; запуск на CPU предусмотрен с float32 и, по предупреждению авторов, требует значительного объёма памяти. Проверенного минимального объёма RAM или VRAM они не приводят, и Modelium эту пару моделей не запускал. Данные после предварительной загрузки весов могут обрабатываться локально; демонстрационная страница авторов работает через веб и не является доказательством офлайн-режима вашего окружения. s1 s2

Адаптеры и документация LAION помечены CC BY 4.0 с требованием атрибуции; входящие базовые веса и исходный код OpenMOSS сохраняют Apache 2.0. Это два разных набора прав, а не одна лицензия на весь комплект. Авторы обучали описаниям, автоматически полученным из аудио; их демонстрация с 50 записями позволяет послушать примеры, но не является независимым тестом качества. Возможны пропуски и придуманные детали. Нельзя определять по этому описанию личность, возраст, скрытые эмоции или медицинское состояние человека. s1 s2 s3

Следующий шаг: если задача именно описать голос, начните с примеров на странице авторов и проверьте их на слух; для собственной записи сначала оцените наличие подходящей CUDA-среды и права на обработку аудио. Для озвучивания текста, а не анализа записи, см. отдельную публикацию о Humaneness Voice Small Acting. s1 s2