«клапан линии подачи»
dense + sparse → RRF
есть ли релевантный фрагмент с источником s1
KT-417
индексированный sku с точным совпадением
совпадает ли весь код после нормализации s4
«клапан KT-417»
точный SKU, затем смысловой/словесный поиск для контекста
Это правило маршрутизации, предложенное редакцией, а не опубликованный результат эксперимента. У реальных артикулов могут отличаться тире, латиница/кириллица, регистр, нули и альтернативные написания. Нормализацию и справочник эквивалентных кодов согласуйте с владельцем данных: слепо удалять символы нельзя.
Понадобятся Docker, Python с venv, установленная Ollama и возможность один раз получить образ Qdrant и веса embedding-модели. Локальный Qdrant по умолчанию не включает аутентификацию и шифрование; не открывайте порт в сеть и не помещайте туда реальные корпоративные документы без отдельной политики доступа s5. Пример использует опубликованный тег образа v1.19.1; перед рабочим развёртыванием зафиксируйте digest образа, версии Python-библиотек, Ollama и скачанных весов. Тег EmbeddingGemma требует Ollama не ниже 0.11.10 по карточке вендора s8.
mkdir -p qdrant_storage
docker run -d --name qdrant-hybrid-demo \
-p 127.0.0.1:6333:6333 \
-v "$PWD/qdrant_storage:/qdrant/storage" \
qdrant/qdrant:v1.19.1
curl -fsS http://127.0.0.1:6333/
ollama pull embeddinggemma
curl -fsS http://127.0.0.1:11434/api/embed \
-H 'Content-Type: application/json' \
-d '{"model":"embeddinggemma","input":"контрольный фрагмент"}'
python3 -m venv .venv
.venv/bin/python -m pip install qdrant-client fastembed requests
У /api/embed ожидается JSON с массивом embeddings; пустой массив или ошибка HTTP — повод остановиться, а не подставить выдуманный вектор s7. В официальном облачном примере Qdrant указан cloud_inference=True; не копируйте его в сценарий закрытого контура. Ниже dense считает локальная Ollama, sparse — клиентский FastEmbed, а Qdrant хранит и объединяет векторы s1s3s6s7. Скачивание контейнера, Python-зависимостей и модели всё равно обращается к внешним источникам: для строго офлайн-стенда сначала подготовьте и проверьте эти артефакты, затем проведите отдельный сетевой тест.
Сохраните пример как hybrid_demo.py и выполните .venv/bin/python hybrid_demo.py только на тестовой коллекции. Он намеренно завершится, если коллекция с таким именем уже есть, и никогда не удаляет данные. Размер dense-поля берётся из фактического ответа Ollama: документация подчёркивает, что он зависит от embedding-модели s7. FastEmbed Qdrant/bm25 обрабатывает русский текст параметром language="russian"; его реализация требует IDF-модификатор у sparse-поля Qdrant s6s3.
import requests
from fastembed import SparseTextEmbedding
from qdrant_client import QdrantClient, models
COLL = "modelium_hybrid_demo"
ollama = "http://127.0.0.1:11434/api/embed"
client = QdrantClient(url="http://127.0.0.1:6333")
bm25 = SparseTextEmbedding(model_name="Qdrant/bm25", language="russian")
def dense(text):
response = requests.post(ollama, json={"model": "embeddinggemma", "input": text}, timeout=120)
response.raise_for_status()
return response.json()["embeddings"][0]
def sparse(text, query=False):
result = next(bm25.query_embed(text) if query else bm25.embed([text]))
return models.SparseVector(indices=result.indices.tolist(), values=result.values.tolist())
rows = [
(1, "KT-417", "Клапан KT-417 управляет подачей жидкости в контуре А."),
(2, "KT-418", "Клапан KT-418 предназначен для обратной линии контура Б."),
(3, "PM-931", "Насос PM-931 поддерживает давление линии подачи."),
]
if client.collection_exists(COLL):
raise SystemExit(f"Коллекция {COLL} уже есть: выберите отдельную тестовую среду")
dim = len(dense(rows[0][2]))
client.create_collection(
collection_name=COLL,
vectors_config={"dense": models.VectorParams(size=dim, distance=models.Distance.COSINE)},
sparse_vectors_config={"lexical": models.SparseVectorParams(modifier=models.Modifier.IDF)},
)
client.create_payload_index(COLL, field_name="sku", field_schema=models.PayloadSchemaType.KEYWORD, wait=True)
client.upsert(
collection_name=COLL,
points=[models.PointStruct(
id=ident,
vector={"dense": dense(text), "lexical": sparse(text)},
payload={"sku": sku, "text": text, "source": f"demo:{ident}"},
) for ident, sku, text in rows],
wait=True,
)
query = "клапан в линии подачи"
vector = dense(query)
lexical = sparse(query, query=True)
for name, params in (
("dense", {"query": vector, "using": "dense"}),
("sparse", {"query": lexical, "using": "lexical"}),
):
hits = client.query_points(collection_name=COLL, limit=3, with_payload=True, **params).points
print(name, [(h.payload["sku"], round(h.score, 4)) for h in hits])
hybrid = client.query_points(
collection_name=COLL,
prefetch=[
models.Prefetch(query=vector, using="dense", limit=20),
models.Prefetch(query=lexical, using="lexical", limit=20),
],
query=models.FusionQuery(fusion=models.Fusion.RRF),
limit=3,
with_payload=True,
).points
print("hybrid", [(h.payload["sku"], round(h.score, 4)) for h in hybrid])
code = "KT-417" # замените только после определения правил нормализации SKU
exact, _ = client.scroll(
collection_name=COLL,
scroll_filter=models.Filter(must=[
models.FieldCondition(key="sku", match=models.MatchValue(value=code))
]),
limit=10, with_payload=True,
)
print("exact", [(p.payload["sku"], p.payload["source"]) for p in exact])
Пример prefetch + FusionQuery(RRF) следует Query API Qdrant s1s2. limit каждой prefetch-ветки должен охватывать итоговый limit (и смещение, если оно появится), иначе часть кандидатов не дойдёт до слияния s2. Баллы dense, sparse и RRF имеют разный смысл: здесь их печатают для диагностики внутри каждой ветки, а не сравнивают как одну шкалу s2. Индекс sku и фильтр MatchValue соответствуют документации keyword-поиска s4.
После запуска проверьте наличие трёх строк dense, sparse, hybrid, непустых результатов и exact с KT-417 и demo:1. Это ожидаемый критерий для синтетического ввода, не заявленный фактический результат Modelium. Затем составьте хотя бы две группы запросов: точные артикулы (включая похожие KT-417/KT-418, отсутствующий код и варианты регистра) и смысловые перефразировки. Для каждого запроса вручную разметьте допустимые фрагменты и сопоставьте выдачу dense-only, sparse-only, RRF и точной ветки на одинаковых данных; методика оценки RAG помогает отделить качество поиска от качества ответа модели.
В реальном RAG храните у каждого фрагмента ID исходного документа, страницу/раздел, версию и права доступа. Извлечённый текст с цитатой — ещё не готовый ответ; генератор должен получать только разрешённые найденные фрагменты, а правильность ответа проверяется отдельно. Общая схема пилота — в руководстве по RAG. При изменении embedding-модели или способа токенизации переиндексируйте документы и запросы одинаковой версией: сравнение старых и новых векторов без контроля конфигурации не является тестом качества s7s6.
docker ps, curl http://127.0.0.1:6333/ и журнал контейнера; официальная quickstart использует порт 6333 и предупреждает об отсутствии auth по умолчанию s5.embeddinggemma, версию приложения и локальный /api/embed; не записывайте нулевые векторы вместо неудачного ответа s7s8.Qdrant/bm25 с language="russian", а sparse-коллекция создана с modifier=idf; английская обработка по умолчанию не подходит для русскоязычного теста s6s3.sku, регистр, символы, payload index и нормализацию; keyword-фильтр отличается от полнотекстового поиска s4. Похожий товар нельзя автоматически считать заменой.Остановить тестовый Qdrant можно docker stop qdrant-hybrid-demo && docker rm qdrant-hybrid-demo. Директорию qdrant_storage команда не удаляет; не очищайте её, пока не убедились, что там только тестовые данные. ollama rm embeddinggemma удалит локальную модель, если она больше никому не нужна. Следующий шаг — проверить выдачу по артикулам и смысловым запросам на размеченном наборе, сохранив версии, найденные источники и ошибки.