REPAIR: три LoRA-ретривера для локального поиска по научным текстам

Как выбрать и запустить

• 0.5B — начальный вариант для проверки качества поиска на своём корпусе; адаптер загружается поверх Qwen/Qwen2.5-0.5B. s1
• 1.5B — промежуточный вариант поверх Qwen/Qwen2.5-1.5B; его карточка содержит пример загрузки через Transformers и PEFT. s2
• 7B — вариант поверх Qwen/Qwen2.5-7B для сравнения качества на собственной выборке, а не гарантированно лучший ответ на каждый запрос. s3

Сначала установите совместимые transformers, torch и peft, загрузите соответствующую базовую модель и адаптер с закреплённой ревизии. Рецепт авторов добавляет EOS в конец последовательности, берёт представление последнего токена, L2-нормализует векторы и сравнивает их скалярным произведением. Запросу и документу нужны разные префиксы из карточки; без них результаты не сопоставимы с авторской оценкой. В примерах авторов вызывается .cuda(), поэтому это примеры для CUDA, а не доказанный минимум оборудования или готовая команда для Mac/CPU. Мы не проводили собственный запуск или замеры скорости. s2 s4

Для первого теста соберите несколько десятков пар «запрос — подходящий фрагмент», добавьте похожие, но неверные научные термины и сравните долю правильных результатов в top-k с используемым сейчас ретривером. На биомедицинских примерах особенно важно проверить близкие названия сущностей, а не только общее тематическое сходство. Это редакционная схема проверки на ваших данных, не опубликованный результат испытания модели.

Что означают цифры и лицензия

Авторы приводят для 7B средний nDCG@10 по четырём поисковым наборам 0,568 против 0,551 у указанного ими BMRetriever-7B. Но на TREC-COVID у REPAIR-7B 0,842 против 0,861 у той же базовой строки: улучшение не универсально. BIOSSES в той же таблице измеряется отдельно корреляцией Спирмена, а не nDCG; смешивать эти знаменатели нельзя. Это заявления авторов, не независимый бенчмарк Modelium. s3 s4

Репозитории адаптеров и карточки соответствующих базовых Qwen2.5 указывают Apache-2.0. Это метки лицензии весов, не утверждение, что весь исследовательский код открыт под той же лицензией: в проверенном дереве GitHub отдельного файла LICENSE нет, хотя значок README говорит MIT. Перед использованием кода как самостоятельного продукта запросите у авторов подтверждение его правового статуса; коммерческие разрешения для самих весов и права на код не следует смешивать. s1 s2 s3 s4 s6 s7 s8

Следующий шаг: возьмите адаптер 0.5B с его базовой Qwen2.5-0.5B, повторите схему кодирования из закреплённой карточки и проверьте top-k выдачу на своих англоязычных документах. Если качество недостаточно, сравните 1.5B и 7B на том же тестовом наборе; размер адаптера сам по себе не говорит о требованиях к RAM/VRAM. s1 s2 s3