llama.cpp b11495 исправляет оценки релевантности Granite Reranker

Что именно исправили?

У реранкера есть завершающий вычислительный блок, который превращает обработанный текст в оценку соответствия. Его настройка classifier_activation у разных моделей отличается. Раньше llama.cpp не всегда учитывала это различие. Теперь при преобразовании модели в формат GGUF — файл весов для локальных программ — значение настройки сохраняется, а при подсчёте оценки применяется соответствующая функция. Если параметр не указан, для ModernBERT предусмотрено отдельное значение по умолчанию. Это исправление обработки весов, не выпуск новых весов. s2

Показательный пример — англоязычная ibm-granite/granite-embedding-reranker-english-r2: в закреплённой конфигурации IBM указаны classifier_activation: silu и classifier_pooling: cls. Более раннее исправление в llama.cpp уже учитывало способ объединения текста (cls), но ещё не устраняло ошибку функции активации. Поэтому речь идёт о завершении конкретного исправления, а не о том, что любой реранкер раньше работал неправильно. Модель IBM распространяется под Apache 2.0, код llama.cpp — под MIT; лицензия программы не заменяет лицензию весов. s3 s4 s5 s6

Что показал тест автора?

Автор изменения сравнил оценки шести пар «вопрос — фрагмент» на центральном процессоре (CPU): GGUF в формате f16 через llama-server --reranking и исходную модель через Transformers в fp32. Для Granite максимальное расхождение с исходной реализацией, по данным автора, снизилось с 0,23 до 0,001; для другого проверенного реранкера gte-reranker-modernbert-base оно осталось 0,005. Это разница оценок на маленьком наборе, не показатель точности поиска на ваших документах, не ускорение и не самостоятельный замер Modelium. s2

Нужно ли что-то делать пользователю?

Если поиск по документам не использует реранкер, ничего. Если используете именно Granite Reranker в GGUF через llama.cpp, обновление одной программы не исправит ранее созданный GGUF: для настройки silu модель необходимо заново преобразовать с кодом, содержащим исправление. Затем сравните порядок найденных фрагментов на своих вопросах и вручную проверьте, что нужный ответ оказался выше. Пока это предварительная сборка, а готовую команду конвертации и совместимость конкретного приложения мы здесь не подтверждаем. Для других реранкеров поведение зависит от их конфигурации; англоязычная Granite не обещает такого же качества поиска по-русски. s1 s2 s3 s4

Для начала разберитесь, нужен ли повторный просмотр найденных фрагментов в вашем локальном поиске: гайд по реранкингу в Open WebUI объясняет назначение этого шага, но не означает, что Open WebUI уже поставляет обновлённый GGUF для Granite.

Источники проверены 8 октября 2026 года. Это разбор исходного кода и авторского теста; Modelium не запускал модель и не воспроизводил числа. s1 s2