SheetSage2-MLX: локальная расшифровка музыки на Apple Silicon
На странице · 4 разделов
29 сентября 2026 года независимый разработчик выпустил MLX-порт SheetSage2 с полным файлом весов и кодом для локального преобразования аудио в ноты, MIDI и ABC на Mac с Apple Silicon. Это конверсия существующей модели, а не новый базовый чекпойнт; лицензия CC BY-NC 4.0 ограничивает коммерческое использование, а цифры скорости — измерения автора, не тест Modelium.
Что появилось
29 сентября 2026 года разработчик satoripoyopoyo разместил SheetSage2-MLX — неофициальный порт существующей модели SheetSage2 на MLX для Mac с Apple Silicon. История Hugging Face фиксирует исходный коммит в 19:28 UTC и загрузку файла весов в 19:30 UTC; закреплённая ревизия 39c667a0 содержит sheetsage2_mlx.safetensors размером 2 708 197 148 байт, пакет Python и исходники. Отдельный GitHub-репозиторий получил коммит с FP16-путём Metal в 19:24 UTC. Это новый локальный формат и реализация, а не новое обучение базовой модели. Размер файла на диске не равен минимуму объединённой памяти. s1 s2
Для чего использовать
Порт принимает музыкальный аудиофайл и заявляет экспорт редактируемых нот в ABC, MIDI и событий JSON; исходный код пайплайна действительно собирает score.abc, events.json, MIDI и HTML-представление. Это может пригодиться для локального черновика мелодии и аккордов без отправки записи в облачный API. Итоговые ноты следует прослушать и исправить вручную: наличие экспортов не доказывает точность транскрипции для вашего жанра или записи. Пайплайн декодирует вход через установленный FFmpeg. s1 s2
Исходная SheetSage2 опубликована командой m-a-p раньше и использует MERT-v2-FullSong. У оригинала отдельная реализация с PyTorch; порт не следует путать с официальным релизом команды m-a-p. Оба репозитория указывают CC BY-NC 4.0 для весов, а порт содержит текст этой лицензии. Для коммерческого применения нельзя автоматически считать права предоставленными; проверьте условия отдельно. Открытый доступ к весам не тождественен разрешению на любой способ использования. s1 s3
Как проверить локально
На Mac с Apple Silicon нужны Python 3.10+ и FFmpeg. Автор предлагает установить пакет из GitHub и вызвать sheetsage-mlx song.mp3 -o ./output. Зафиксируйте проверенный коммит кода и используйте собственный файл с разрешёнными правами:
git clone https://github.com/RINkir64/sheetsage-mlx.git
cd sheetsage-mlx
git checkout e685d74a4a101567530c6f862e692e00933c946d
python3 -m pip install -e .
sheetsage-mlx song.mp3 -o ./output
Первый вызов по умолчанию скачивает веса с Hugging Face; для офлайн-работы заранее сохраните файл и адаптируйте вызов Python API с SheetSage2MLX.from_pretrained(локальный_путь). Оговорка для воспроизводимости: в опубликованном cli.py объявлен параметр -m/--model, но он не передаётся в transcribe; поэтому нельзя обещать, что -m закрепляет конкретную ревизию или подменяет источник весов. Пайплайн также не передаёт HF revision при загрузке по имени. Команды и поведение проверены чтением кода, а не запуском на Mac редакцией. s1 s2
Как читать скорость
Карточка приводит авторские измерения на Mac mini M2 Pro с 32 ГБ объединённой памяти: 30-секундный фрагмент — 2,03 секунды обработки (14,8× реального времени), запись длиной 174,4 секунды — 26 секунд (6,7×). Это две разные длительности входа, а не универсальный коэффициент: рекламный тезис карточки «15–25× realtime» не отражает её же результат для целой композиции. Заявленные сравнения с audio.cpp и PyTorch не воспроизведены Modelium и не доказывают одинаковую конфигурацию всех альтернатив. M2 Pro с 32 ГБ — тестовая машина автора, не минимальное требование. s1
Практический вывод: порт уже содержит и код, и полный файл весов для эксперимента на Mac, но подходит прежде всего для некоммерческой проверки транскрипции. Перед использованием в рабочем процессе проверьте лицензию, точность на своих записях и исправление игнорируемого -m; не переносите авторские замеры на другую машину без теста. s1 s2 s3
Источники
- satoripoyopoyo: SheetSage2-MLX — закреплённые файлы, карточка и лицензия — HF API и полное дерево: весовой Safetensors 2 708 197 148 байт, source package, CC BY-NC 4.0. Авторские цифры для двух длительностей входа.. Получено 29.09.2026.
- RINkir64/sheetsage-mlx: код MLX-порта, коммит e685d74 — Код CLI и пайплайна проверен также по закреплённой HF-ревизии: аргумент -m объявлен, но не используется; backend загружает весовой файл по умолчанию.. Получено 29.09.2026.
- m-a-p: официальный SheetSage2 — исходная модель и лицензия — Исходная модель и происхождение, ограничение CC BY-NC 4.0; MLX-порт независим от команды m-a-p.. Получено 29.09.2026.