Перейти к содержанию
modelium.
Начать с задачи
←
Абстрактная композиция: полупрозрачная рваная лента и мягкие тени в оливковых тонах.
Новость

llama.cpp b11190 исправляет расшифровку LFM2.5-Audio

На странице · 2 разделов

Предварительная сборка llama.cpp b11190 от 25 сентября 2026 года исправляет подготовку mel-спектрограммы для аудиомоделей семейства LFM2.5. В сравнении автора исправления с эталонной реализацией прежний код давал отличающиеся транскрипты на 9 из 200 английских и 13 из 200 японских записей; после изменения совпадение выросло до 200/200 и 199–200/200 соответственно в проверенных режимах. Это исправление корректности, а не выпуск новых весов или доказательство снижения WER на независимом датасете.

llama.cpp b11190 исправляет расшифровку LFM2.5-Audio

25 сентября 2026 года вышла предварительная сборка llama.cpp b11190 с исправлением mel-препроцессора LFM2 Audio. Изменение относится к подготовке звукового входа перед локальным инференсом, а не к весам модели. PR #29403 объединён в основную ветку и включён в опубликованный тег; сборка помечена как prerelease. s1 s2

В чём была ошибка

Для аудиопрепроцессора lfm2a код теперь добавляет малую константу до логарифма вместо обрезания значений снизу, использует симметричное окно Hann и добавляет epsilon к стандартному отклонению после извлечения квадратного корня. В PR это сопоставлено с эталонным liquid-audio. Эти режимы включены только для данного препроцессора; другие аудиопрепроцессоры не переключаются на новую формулу. s2 s3

По измерениям автора PR, на одинаковом аудио 16 кГц и при temperature=0 прежняя версия выдавала транскрипты, отличающиеся от эталона, в 9 из 200 английских записей LibriSpeech test-clean и 13 из 200 японских записей Common Voice. После исправления совпало 200/200 английских транскриптов в F16, 200/200 японских в F32 и 199/200 японских в F16. Оставшееся отличие в F16 — запятая, причём результат совпал с эталонной реализацией в bf16. Медианная относительная L2-ошибка mel-признаков по авторскому сравнению сократилась примерно с 3,2% и 3,9% до ~0,0002% для английского и японского наборов. Это совпадение с эталоном на ограниченном тесте, а не независимый WER-бенчмарк или обещание такого же выигрыша на любой записи. Modelium не проводил собственных замеров. s2

Кому это полезно

Если вы расшифровываете аудио моделями LFM2.5 через llama-server или другой клиент на базе актуального libmtmd, обновление до b11190 либо последующего выпуска с тем же изменением стоит проверить на своих записях. Особенно полезно заново сравнить японские транскрипты и пайплайны, где изменение отдельного слова существенно. Сохраните прежний результат и сравнивайте при одинаковых модели, параметрах декодирования и аудиофайле: выпуск не гарантирует улучшения всех транскриптов относительно человеческой разметки. Сборка предварительная, поэтому для production сначала проверьте совместимость. s1 s2

Новых весов здесь нет. Официальные GGUF-пакеты Liquid AI для английской и японской LFM2.5-Audio уже доступны отдельно, включая модельные и аудиопроекторные файлы. Не путайте лицензию MIT исходного кода llama.cpp с лицензией весов LFM Open License v1.0: она разрешает коммерческое применение только при условии, что годовая выручка юридического лица не достигает порога $10 млн; для юридических лиц выше порога коммерческое использование по этой лицензии не разрешено. Проверьте полный текст условий перед внедрением. Размер GGUF-файла не является требованием к RAM или VRAM. s4 s5 s6 s7

Источники