# Qwen3 Reranker: выбрать 0.6B, 4B или 8B для локального поиска

Источник: https://modelium.tech/zhurnal/qwen3-reranker/

Qwen3 Reranker повторно сортирует уже найденные фрагменты по паре «запрос — документ»; он не строит индекс и не заменяет первый этап поиска. У Qwen есть отдельные варианты 0.6B, 4B и 8B. Начните с 0.6B и переходите к более крупным только после сравнения качества, задержки и фактической памяти на одинаковой русскоязычной выборке. Modelium не запускал эти веса и не проверял качество или требования к оборудованию.

Данные проверены 3 октября 2026 года по трём закреплённым ревизиям Qwen. Частотность запроса в России не измерена. Modelium не загружал веса и не проводил тестов производительности или качества.

## Что решает Qwen3 Reranker?

Первый этап поиска выдаёт ограниченный набор кандидатов — например, фрагменты договоров или инструкции по внутреннему процессу. **Reranker** оценивает каждую пару «вопрос — кандидат» и меняет порядок этого готового набора; он не создаёт векторы, не ищет по всей базе и не отвечает пользователю вместо генеративной модели [s1](#src-s1) [s8](#src-s8). Если верный документ вообще не попал в набор кандидатов, второй этап его не восстановит: сначала разберите [качество поиска](/zhurnal/ocenka-kachestva-rag/) и [гибридное извлечение](/zhurnal/gibridnyy-poisk-rag/).

Авторы предлагают три **отдельных** репозитория — `Qwen/Qwen3-Reranker-0.6B`, `Qwen/Qwen3-Reranker-4B` и `Qwen/Qwen3-Reranker-8B`, все три предназначены для текстового переранжирования, не для генерации embedding-векторов [s1](#src-s1) [s2](#src-s2) [s3](#src-s3). [Qwen3 Embedding](/zhurnal/qwen3-embedding/) выполняет другую функцию: кодирует запросы и документы для первого этапа поиска.

## Как выбрать 0.6B, 4B или 8B?

- **0.6B** — первый кандидат для контрольной выборки. Репозиторий на SHA `e61197ed…` содержит опубликованные веса; карточка описывает пример `CrossEncoder` и метку лицензии Apache-2.0 [s1](#src-s1). Начните с него, но не считайте малый размер гарантией работы на конкретном ноутбуке.

- **4B** — самостоятельные веса на SHA `22e68366…`; испытывайте после baseline, если на размеченных вопросах 0.6B неверно ранжирует важные ответы и ресурс позволяет обслуживать больший вариант [s2](#src-s2).

- **8B** — самостоятельные веса на SHA `77d193c7…`; включайте в сравнение при оправданной потребности в качестве и подтверждённой совместимости на своём оборудовании [s3](#src-s3). Большее число параметров само по себе не означает улучшение на русской предметной области.

Модельные карточки помечены **Apache-2.0** [s1](#src-s1) [s2](#src-s2) [s3](#src-s3). Это описание лицензии опубликованных репозиториев, не заключение о правах на ваши документы, код runtime или зависимости. Проверяйте условия конкретных загружаемых артефактов. Размер файла весов на диске не является минимальной RAM/VRAM; Modelium не измерял память, latency или пропускную способность ни одного варианта.

Три карточки заявляют контекст **32K**, тогда как закреплённые `config.json` содержат `max_position_embeddings=40960`; в примерах Qwen для ручной обработки пар указан `max_length=8192` [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s4](#src-s4) [s5](#src-s5) [s6](#src-s6). Это не три взаимозаменяемых предела и не доказательство качества 40K-токенной пары: у каждого runtime отдельно проверьте обрезку, системный шаблон, длину запроса плюс документа и расход памяти.

## Каким способом запустить и проверить пару запрос–документ?

Карточки показывают `CrossEncoder` из Sentence Transformers для каждого **точного имени репозитория**; его методы `predict` и `rank` выдают баллы и порядок для списка кандидатных документов [s1](#src-s1) [s2](#src-s2) [s3](#src-s3). Это документированный путь, а не запуск Modelium. Баллы по умолчанию описаны карточкой как сырые разности логитов; не интерпретируйте их автоматически как вероятности и не сравнивайте абсолютное значение между версиями или разными входными шаблонами [s1](#src-s1). Для первого опыта возьмите короткий публичный вопрос, один действительно подходящий фрагмент и несколько смысловых отвлекающих документов; сверяйте порядок с заранее записанной разметкой.

По карточке в `CrossEncoder` для этого семейства шаблон запроса по умолчанию добавляет англоязычную инструкцию о поиске подходящих фрагментов; карточка также показывает, как задать иную инструкцию [s1](#src-s1). В пилоте с русскими договорами зафиксируйте **одинаковую** формулировку инструкции, набор кандидатов и длину обрезки для всех трёх размеров. Рекомендация автора писать инструкции на английском и заявленный эффект — **авторские наблюдения**, а не независимый результат для вашего русского корпуса [s7](#src-s7).

Старый пример vLLM в закреплённом README Qwen содержит названия `Qwen3-Reranking-*`, отличающиеся от фактически опубликованных `Qwen3-Reranker-*` [s7](#src-s7) [s1](#src-s1) [s2](#src-s2). Поэтому не копируйте его как готовую команду. Если выбираете серверный runtime, сначала убедитесь, что конкретная версия распознаёт точное имя и формат reranker, а затем получите ответ тестовой пары; источник не доказывает совместимость всех серверов и квантов. [Гайд Open WebUI](/zhurnal/open-webui-reranking/) касается интеграции второго этапа, но не заменяет проверку той же ревизии весов.

## Как доказать пользу на своих данных?

- До переключения reranker соберите обезличенные русские вопросы с известными правильными фрагментами, включая почти подходящие, но неверные версии документа. Сохраните идентификаторы и критерий полезности каждого фрагмента **до** прогона.

- Зафиксируйте первый этап: одну и ту же embedding-модель, индекс, разбиение документов, top-k кандидатов и набор вопросов для baseline и каждой модели reranker. Если нужный фрагмент не попал в top-k, это промах извлечения, а не reranker. Авторская таблица Qwen получена на top-100 кандидатах Qwen3-Embedding-0.6B, поэтому её числа нельзя переносить на иной набор кандидатов или выдавать за замер Modelium [s7](#src-s7).

- Для 0.6B, 4B и 8B сохраните SHA весов, версию runtime, шаблон инструкции, лимит входа, фактическое оборудование и задержку. Сравните попадание релевантного документа в top-k и ошибки ранжирования при равных условиях. Документация `CrossEncoderRerankingEvaluator` описывает MRR@k, NDCG@k и MAP для размеченных пар; при реальном пилоте дополните их просмотром опасных ложных находок [s8](#src-s8).

- Генеративный ответ с цитатами проверяйте **отдельно**: правильный порядок фрагментов не гарантирует, что LLM честно изложит исходный документ. [Протокол оценки RAG](/zhurnal/ocenka-kachestva-rag/) помогает разделить ошибки retrieval и ошибки ответа.

**Следующий шаг:** [составьте проверочный набор для RAG](/zhurnal/ocenka-kachestva-rag/) и сравните baseline без второго этапа с Qwen3 Reranker 0.6B на одинаковых русских запросах. Только если выигрыш на важных документах доказан, оценивайте 4B и 8B с учётом собственной задержки и памяти; без такого сравнения победитель не установлен.

## Источники

1. [Qwen — карточка Qwen3-Reranker-0.6B](https://huggingface.co/Qwen/Qwen3-Reranker-0.6B/blob/e61197ed45024b0ed8a2d74b80b4d909f1255473/README.md) — получено 2026-10-03
2. [Qwen — карточка Qwen3-Reranker-4B](https://huggingface.co/Qwen/Qwen3-Reranker-4B/blob/22e683669bc0f0bd69640a1354a6d0aebcfeede5/README.md) — получено 2026-10-03
3. [Qwen — карточка Qwen3-Reranker-8B](https://huggingface.co/Qwen/Qwen3-Reranker-8B/blob/77d193c791ed757ca307ee72715aa132723da912/README.md) — получено 2026-10-03
4. [Qwen — config.json Qwen3-Reranker-0.6B](https://huggingface.co/Qwen/Qwen3-Reranker-0.6B/blob/e61197ed45024b0ed8a2d74b80b4d909f1255473/config.json) — получено 2026-10-03
5. [Qwen — config.json Qwen3-Reranker-4B](https://huggingface.co/Qwen/Qwen3-Reranker-4B/blob/22e683669bc0f0bd69640a1354a6d0aebcfeede5/config.json) — получено 2026-10-03
6. [Qwen — config.json Qwen3-Reranker-8B](https://huggingface.co/Qwen/Qwen3-Reranker-8B/blob/77d193c791ed757ca307ee72715aa132723da912/config.json) — получено 2026-10-03
7. [QwenLM — Qwen3-Embedding: модель reranker и условия авторской оценки](https://raw.githubusercontent.com/QwenLM/Qwen3-Embedding/44548aa5f0a0aed1c76d64e19afe47727a325b8f/README.md) — получено 2026-10-03
8. [Sentence Transformers — CrossEncoderRerankingEvaluator](https://www.sbert.net/docs/package_reference/cross_encoder/evaluation.html) — получено 2026-10-03