llama.cpp b11475 исправляет неверные вероятности Clef на Mac
На странице · 3 разделов
В предварительной сборке llama.cpp b11475 исправлена ошибка вычисления на графическом движке Apple Metal: локальная Clef могла неверно оценивать вероятность выбора категории. Исправление относится к программе запуска, а не к новым весам модели. Если вы используете Clef GGUF через Metal, обновите сам llama.cpp и перепроверьте свои контрольные примеры; другие приложения не обновятся автоматически.
Что изменилось 7 октября
Представьте локальную модель, которая сортирует обращения по темам: «оплата» или «техническая проблема». На некоторых запросах Clef, запущенная через Metal — графический движок Apple на Mac, — могла неверно оценивать, насколько подходит каждый вариант. Команда llama.cpp исправила причину в предварительной сборке b11475 от 7 октября 2026 года. Это исправление программы для локального запуска моделей, а не выпуск новых весов Clef. s1 s2 s3
Проблему обнаружили при использовании Clef в формате GGUF (файл модели для локального запуска), в том числе варианта Q8_0 (один из способов уменьшить файл модели). Изначально её подозревали в сжатии весов, но автор исправления сравнил тот же файл на центральном процессоре и Metal и отнёс расхождение к вычислительному коду Metal. Это не значит, что каждая GGUF-модель или каждый Mac давали неверный результат. s2 s3
Кому стоит обратить внимание
Если вы используете llama.cpp с Metal и Clef для выбора из нескольких ответов, проверьте свою версию движка. После перехода на b11475 повторите один и тот же понятный контрольный вопрос на той же модели и сравните выбор и его вероятность с прежним результатом; для диагностики опытный пользователь может сравнить с запуском на CPU. Например, для текста «Париж — столица Франции» правильный вариант среди «Франция», «Япония», «Бразилия» известен заранее. Не переносите точные числа из чужого теста на свою систему. s1 s2 s3
Важно: b11475 — предварительная, а не стабильная номерная версия. В официальном релизе есть архив для macOS на Apple Silicon. Если Clef запускается внутри другого приложения, наличие исправления в исходном llama.cpp само по себе не доказывает, что приложение уже включает этот код: проверьте его собственную версию. Полную установку и реальный прогон модели Modelium не выполнял; это инструкция по чтению проверенных первоисточников, а не отчёт о нашем тесте. s1 s2
Что именно сломалось и что проверили авторы
В одном участке кода Metal программа складывала два промежуточных результата и могла взять не тот из них. Это искажало оценку выбора; патч меняет выбор операнда и добавляет тест на такую комбинацию. По данным автора PR #30100, на конкретном примере с Cloudflare_clef-flash-Q8_0, M1 Max и вариантом «оплата» Metal до исправления давал вероятность 0,284, а CPU и Metal после исправления — 0,977. Эти цифры относятся только к указанному тесту автора, не являются измерением Modelium и не гарантируют качество модели на других задачах. s2 s4
Автор исходного сообщения наблюдал ошибку на Mac Studio с M5 Max в более старой сборке b11429. Это конфигурация его проверки, не минимальное требование для Clef. Не следует по ней выбирать объём памяти; в этой новости такой минимум не установлен. s3
Код llama.cpp распространяется по MIT, а карточка конкретного пакета ggml-org/Clef-GGUF указывает Apache-2.0. Это лицензии отдельных компонентов; они не означают, что любые другие веса или приложения доступны на тех же условиях. В репозитории Clef-GGUF видны файлы Q8_0 и BF16, но новые веса для исправления скачивать не требуется. s5 s6
Следующий шаг: если вы только изучаете локальный выбор категорий, прочитайте материал о Clef GGUF и llama.cpp; если уже используете её на Mac, сначала проверьте, какая версия движка встроена в ваш способ запуска. s1 s6
Источники
- ggml-org/llama.cpp — предварительная сборка b11475 — GitHub API: prerelease=true, published_at 2026-10-07T14:23:40Z, tag target commit 7e8324f5feba1d8be3f966e1791e84107e40cdd7; macOS arm64 asset присутствует.. Получено 07.10.2026.
- ggml-org/llama.cpp — PR #30100, Metal fusion correction — Merged 2026-10-07T13:41:50Z; замеры автора M1 Max на Cloudflare_clef-flash-Q8_0 и объяснение причины.. Получено 07.10.2026.
- ggml-org/llama.cpp — issue #30064, Clef Q8_0 on Metal — Репорт старой сборки b11429 на Mac Studio M5 Max; сравнения Q8_0/BF16 и Kev, issue закрыт после исправления.. Получено 07.10.2026.
- ggml-org/llama.cpp — итоговый commit #30100 — Diff меняет ggml-metal-ops.cpp и tests/test-backend-ops.cpp; SHA совпадает с tag b11475.. Получено 07.10.2026.
- ggml-org/llama.cpp — MIT LICENSE at b11475. Получено 07.10.2026.
- ggml-org/Clef-GGUF — закреплённый HF репозиторий — HF API: cardData license apache-2.0, private=false, siblings включают Clef-Q8_0.gguf и Clef-BF16.gguf и соответствующие mmproj.. Получено 07.10.2026.