Qwen3 Reranker: выбрать 0.6B, 4B или 8B для локального поиска

Что решает Qwen3 Reranker?

Первый этап поиска выдаёт ограниченный набор кандидатов — например, фрагменты договоров или инструкции по внутреннему процессу. Reranker оценивает каждую пару «вопрос — кандидат» и меняет порядок этого готового набора; он не создаёт векторы, не ищет по всей базе и не отвечает пользователю вместо генеративной модели s1 s8. Если верный документ вообще не попал в набор кандидатов, второй этап его не восстановит: сначала разберите качество поиска и гибридное извлечение.

Авторы предлагают три отдельных репозитория — Qwen/Qwen3-Reranker-0.6B, Qwen/Qwen3-Reranker-4B и Qwen/Qwen3-Reranker-8B, все три предназначены для текстового переранжирования, не для генерации embedding-векторов s1 s2 s3. Qwen3 Embedding выполняет другую функцию: кодирует запросы и документы для первого этапа поиска.

Как выбрать 0.6B, 4B или 8B?

• 0.6B — первый кандидат для контрольной выборки. Репозиторий на SHA e61197ed… содержит опубликованные веса; карточка описывает пример CrossEncoder и метку лицензии Apache-2.0 s1. Начните с него, но не считайте малый размер гарантией работы на конкретном ноутбуке.
• 4B — самостоятельные веса на SHA 22e68366…; испытывайте после baseline, если на размеченных вопросах 0.6B неверно ранжирует важные ответы и ресурс позволяет обслуживать больший вариант s2.
• 8B — самостоятельные веса на SHA 77d193c7…; включайте в сравнение при оправданной потребности в качестве и подтверждённой совместимости на своём оборудовании s3. Большее число параметров само по себе не означает улучшение на русской предметной области.

Модельные карточки помечены Apache-2.0 s1 s2 s3. Это описание лицензии опубликованных репозиториев, не заключение о правах на ваши документы, код runtime или зависимости. Проверяйте условия конкретных загружаемых артефактов. Размер файла весов на диске не является минимальной RAM/VRAM; Modelium не измерял память, latency или пропускную способность ни одного варианта.

Три карточки заявляют контекст 32K, тогда как закреплённые config.json содержат max_position_embeddings=40960; в примерах Qwen для ручной обработки пар указан max_length=8192 s1 s2 s3 s4 s5 s6. Это не три взаимозаменяемых предела и не доказательство качества 40K-токенной пары: у каждого runtime отдельно проверьте обрезку, системный шаблон, длину запроса плюс документа и расход памяти.

Каким способом запустить и проверить пару запрос–документ?

Карточки показывают CrossEncoder из Sentence Transformers для каждого точного имени репозитория; его методы predict и rank выдают баллы и порядок для списка кандидатных документов s1 s2 s3. Это документированный путь, а не запуск Modelium. Баллы по умолчанию описаны карточкой как сырые разности логитов; не интерпретируйте их автоматически как вероятности и не сравнивайте абсолютное значение между версиями или разными входными шаблонами s1. Для первого опыта возьмите короткий публичный вопрос, один действительно подходящий фрагмент и несколько смысловых отвлекающих документов; сверяйте порядок с заранее записанной разметкой.

По карточке в CrossEncoder для этого семейства шаблон запроса по умолчанию добавляет англоязычную инструкцию о поиске подходящих фрагментов; карточка также показывает, как задать иную инструкцию s1. В пилоте с русскими договорами зафиксируйте одинаковую формулировку инструкции, набор кандидатов и длину обрезки для всех трёх размеров. Рекомендация автора писать инструкции на английском и заявленный эффект — авторские наблюдения, а не независимый результат для вашего русского корпуса s7.

Старый пример vLLM в закреплённом README Qwen содержит названия Qwen3-Reranking-*, отличающиеся от фактически опубликованных Qwen3-Reranker-* s7 s1 s2. Поэтому не копируйте его как готовую команду. Если выбираете серверный runtime, сначала убедитесь, что конкретная версия распознаёт точное имя и формат reranker, а затем получите ответ тестовой пары; источник не доказывает совместимость всех серверов и квантов. Гайд Open WebUI касается интеграции второго этапа, но не заменяет проверку той же ревизии весов.

Как доказать пользу на своих данных?

1. До переключения reranker соберите обезличенные русские вопросы с известными правильными фрагментами, включая почти подходящие, но неверные версии документа. Сохраните идентификаторы и критерий полезности каждого фрагмента до прогона.
2. Зафиксируйте первый этап: одну и ту же embedding-модель, индекс, разбиение документов, top-k кандидатов и набор вопросов для baseline и каждой модели reranker. Если нужный фрагмент не попал в top-k, это промах извлечения, а не reranker. Авторская таблица Qwen получена на top-100 кандидатах Qwen3-Embedding-0.6B, поэтому её числа нельзя переносить на иной набор кандидатов или выдавать за замер Modelium s7.
3. Для 0.6B, 4B и 8B сохраните SHA весов, версию runtime, шаблон инструкции, лимит входа, фактическое оборудование и задержку. Сравните попадание релевантного документа в top-k и ошибки ранжирования при равных условиях. Документация CrossEncoderRerankingEvaluator описывает MRR@k, NDCG@k и MAP для размеченных пар; при реальном пилоте дополните их просмотром опасных ложных находок s8.
4. Генеративный ответ с цитатами проверяйте отдельно: правильный порядок фрагментов не гарантирует, что LLM честно изложит исходный документ. Протокол оценки RAG помогает разделить ошибки retrieval и ошибки ответа.

Следующий шаг: составьте проверочный набор для RAG и сравните baseline без второго этапа с Qwen3 Reranker 0.6B на одинаковых русских запросах. Только если выигрыш на важных документах доказан, оценивайте 4B и 8B с учётом собственной задержки и памяти; без такого сравнения победитель не установлен.