# REPAIR: три LoRA-ретривера для локального поиска по научным текстам

Источник: https://modelium.tech/zhurnal/repair-scientific-retrievers-05b-15b-7b-lora/

2 октября 2026 года авторы REPAIR выложили три LoRA-адаптера на базе Qwen2.5-0.5B, 1.5B и 7B для поиска по англоязычным научным текстам. Это модели эмбеддингов, а не генераторы ответов: для запуска нужен соответствующий базовый чекпойнт и PEFT. Веса адаптеров помечены Apache-2.0; результаты тестов принадлежат авторам и не являются проверкой Modelium.

## Что вышло

2 октября 2026 года авторы проекта REPAIR разместили в Hugging Face три **LoRA-адаптера** для плотного поиска по научным текстам: 0.5B, 1.5B и 7B. Их базовые модели — соответственно Qwen2.5-0.5B, Qwen2.5-1.5B и Qwen2.5-7B. В каждом репозитории есть `adapter_model.safetensors` и `adapter_config.json`; это **не самостоятельные полные веса**. Статья о методе появилась на arXiv 16 сентября, а событие сегодняшнего дня — публикация доступных адаптеров. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s5](#src-s5)

REPAIR предназначен для векторного поиска, а не для написания ответа. Система кодирует запрос и фрагменты документов в нормализованные эмбеддинги и ранжирует фрагменты по скалярному произведению. Для локального RAG это отдельный поисковый этап: сначала выбрать релевантные фрагменты, затем, если нужно, передать их генеративной модели. В карточках область применения ограничена англоязычными научными текстами, включая биомедицину и материаловедение; качество на русском языке и обычных документах не оценивалось. [s2](#src-s2) [s4](#src-s4)

## Как выбрать и запустить

- **0.5B** — начальный вариант для проверки качества поиска на своём корпусе; адаптер загружается поверх `Qwen/Qwen2.5-0.5B`. [s1](#src-s1)

- **1.5B** — промежуточный вариант поверх `Qwen/Qwen2.5-1.5B`; его карточка содержит пример загрузки через Transformers и PEFT. [s2](#src-s2)

- **7B** — вариант поверх `Qwen/Qwen2.5-7B` для сравнения качества на собственной выборке, а не гарантированно лучший ответ на каждый запрос. [s3](#src-s3)

Сначала установите совместимые `transformers`, `torch` и `peft`, загрузите **соответствующую** базовую модель и адаптер с закреплённой ревизии. Рецепт авторов добавляет EOS в конец последовательности, берёт представление последнего токена, L2-нормализует векторы и сравнивает их скалярным произведением. Запросу и документу нужны **разные префиксы** из карточки; без них результаты не сопоставимы с авторской оценкой. В примерах авторов вызывается `.cuda()`, поэтому это примеры для CUDA, а не доказанный минимум оборудования или готовая команда для Mac/CPU. Мы не проводили собственный запуск или замеры скорости. [s2](#src-s2) [s4](#src-s4)

Для первого теста соберите несколько десятков пар «запрос — подходящий фрагмент», добавьте похожие, но неверные научные термины и сравните долю правильных результатов в top-k с используемым сейчас ретривером. На биомедицинских примерах особенно важно проверить близкие названия сущностей, а не только общее тематическое сходство. Это редакционная схема проверки на ваших данных, не опубликованный результат испытания модели.

## Что означают цифры и лицензия

Авторы приводят для 7B средний nDCG@10 по четырём поисковым наборам **0,568** против **0,551** у указанного ими BMRetriever-7B. Но на TREC-COVID у REPAIR-7B **0,842** против **0,861** у той же базовой строки: улучшение не универсально. BIOSSES в той же таблице измеряется отдельно корреляцией Спирмена, а не nDCG; смешивать эти знаменатели нельзя. Это **заявления авторов**, не независимый бенчмарк Modelium. [s3](#src-s3) [s4](#src-s4)

Репозитории адаптеров и карточки соответствующих базовых Qwen2.5 указывают **Apache-2.0**. Это метки лицензии весов, не утверждение, что весь исследовательский код открыт под той же лицензией: в проверенном дереве GitHub отдельного файла LICENSE нет, хотя значок README говорит MIT. Перед использованием кода как самостоятельного продукта запросите у авторов подтверждение его правового статуса; коммерческие разрешения для самих весов и права на код не следует смешивать. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s4](#src-s4) [s6](#src-s6) [s7](#src-s7) [s8](#src-s8)

**Следующий шаг:** возьмите адаптер 0.5B с его базовой Qwen2.5-0.5B, повторите схему кодирования из закреплённой карточки и проверьте top-k выдачу на своих англоязычных документах. Если качество недостаточно, сравните 1.5B и 7B на том же тестовом наборе; размер адаптера сам по себе не говорит о требованиях к RAM/VRAM. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

## Источники

1. [REPAIR Scientific Retrievers 0.5B, HF model card and artifacts (pinned)](https://huggingface.co/yerim0210/REPAIR_Scientific_Retrievers_0.5B/tree/0941a107184ac344747f42ef89ef2326d4ab8e45) — получено 2026-10-02
2. [REPAIR Scientific Retrievers 1.5B, HF model card and artifacts (pinned)](https://huggingface.co/yerim0210/REPAIR_Scientific_Retrievers_1.5B/tree/037985dd071e18de2942a3dcb5205a86c2aa42a6) — получено 2026-10-02
3. [REPAIR Scientific Retrievers 7B, HF model card and artifacts (pinned)](https://huggingface.co/yerim0210/REPAIR_Scientific_Retrievers_7B/tree/560a43a16ac170c2933ba17cae178fba0903f292) — получено 2026-10-02
4. [REPAIR official GitHub README at commit 6077d1b](https://github.com/yerimoh/REPAIR/tree/6077d1b9233875cadb0e8ab2f843cb791395167a) — получено 2026-10-02
5. [REPAIR: Resolving Long-Tail Confusion in Scientific Retrievers, arXiv 2609.18262](https://arxiv.org/abs/2609.18262) — получено 2026-10-02
6. [Qwen2.5-0.5B base model, official card](https://huggingface.co/Qwen/Qwen2.5-0.5B) — получено 2026-10-02
7. [Qwen2.5-1.5B base model, official card](https://huggingface.co/Qwen/Qwen2.5-1.5B) — получено 2026-10-02
8. [Qwen2.5-7B base model, official card](https://huggingface.co/Qwen/Qwen2.5-7B) — получено 2026-10-02