Giga Embeddings 0826: выбрать 480M или 3B для русского поиска

Что именно сравниваем?

Giga Embeddings 0826 — две конкретные текстовые модели из репозиториев ai-sage/Giga-Embeddings-instruct-480M-0826 и ai-sage/Giga-Embeddings-instruct-3B-0826. В карточках автор описывает двунаправленное внимание на архитектуре Qwen3 и выдачу плотных векторов для retrieval, сравнения текстов и кластеризации; это не чат-модели, которые сами составляют ответ с цитатами s1 s2. Для RAG последовательность такова: разбить документы на фрагменты, закодировать их embedding-моделью, найти релевантные фрагменты по вектору вопроса, затем передать отобранное отдельной генеративной модели. Прикладная задача — найти правильный фрагмент на русском, а не получить красивый произвольный вектор.

480M: по карточке около 480 млн параметров, а модуль пулинга возвращает 1024-мерный вектор. В config.json указаны hidden_size=1024, is_causal=false и max_position_embeddings=8192 s1 s3 s5. 3B: по карточке около 3 млрд параметров; пулинг задаёт 2048 измерений, конфигурация — hidden_size=2048, is_causal=false и те же 8192 позиций s2 s4 s6. Последнее — настройка артефакта, не доказательство хорошего извлечения из любого документа длиной 8192 токена и не обещание, что такой запрос поместится на вашем GPU.

На закреплённых ревизиях HTTP HEAD для model.safetensors показал 967 470 272 байта у 480M и 6 301 256 584 байта у 3B s1 s2. Это размеры файлов весов на диске, а не минимальный объём RAM/VRAM: размещение, загрузка, пакетная обработка, длина ввода и runtime влияют на потребление памяти. Векторы двух вариантов имеют разную размерность; не смешивайте их в одной коллекции индекса и при смене модели перестройте документные векторы s5 s6.

Как правильно кодировать вопрос и документы?

Для асимметричного поиска авторы требуют инструкцию перед вопросом в форме Instruct: {задача} + перевод строки + Query: {вопрос}. Пример задачи из карточки — Given a query, retrieve relevant passages; документы подаются без инструкции. Для симметричного сравнения двух текстов автор допускает общий запрос или отсутствие инструкции; этот режим не следует молча переносить на поиск фрагментов в RAG s1 s2. Сохраните фактическую строку вопроса и правило разделения документов вместе с версией индекса: иначе сравнение вариантов теряет контроль условий.

Модули обеих моделей задают mean pooling; авторские карточки требуют затем L2-нормализацию и предупреждают против CLS/last-token pooling для этих весов s1 s2 s5 s6. Их пример с Sentence Transformers использует normalize_embeddings=True. В чистом Transformers из карточки берут среднее по непаддинговым токенам с маской внимания и отдельно нормализуют вектор s1 s2. При сравнении нормированных векторов используйте косинусную близость либо скалярное произведение уже нормированных векторов; не сравнивайте величину отдельной координаты как оценку релевантности s1 s2.

Как выбрать локальный runtime без ложного обещания совместимости?

Карточки показывают путь SentenceTransformer(..., trust_remote_code=True) и отдельный путь vLLM с runner="pooling", convert="embed", переопределением is_causal=false, architectures=["Qwen3ForCausalLM"] и pooling_type="MEAN" s1 s2. Это описанные автором конфигурации, не результат нашего запуска. vLLM в карточке настраивается специально: не ожидайте правильного embedding-пути от произвольного чат-сервера или слепого vllm serve без параметров. Для понимания базового API и проверки формы вектора сначала откройте гайд по vLLM Embeddings API, но его пример Qwen нельзя выдавать за проверенный запуск Giga Embeddings.

Для SentenceTransformer авторский пример включает исполнение пользовательского кода из модельного репозитория. Документация Hugging Face рекомендует просмотр кода и фиксацию ревизии при использовании trust_remote_code; используйте только проверенный SHA, установленную вами версию библиотек и тестовую среду, прежде чем загружать корпоративные файлы s1 s2 s7. Наличие кода не доказывает автоматическую поддержку любого локального инструмента; на карточках приведён ещё экспериментальный путь SGLang с отдельным PR и патчем, его не следует принимать за штатную установку из стабильного пакета s1 s2. Собственный CPU/GPU-бенчмарк и расход памяти у Modelium отсутствуют.

Что известно о качестве русского поиска и лицензии?

Авторы приводят для 480M показатель 70,98 MTEB rus v1.1, а для 3B — 74,57 MTEB rus в другой таблице. Это их опубликованные оценки; рядом не описаны все условия так, чтобы объявлять разницу гарантированным выигрышем 3B на ваших русских договорах или каталогах s1 s2. В таблице 3B скорости указана H100 и batch 16: такое оборудование — условие авторского замера, не минимальное требование s2. Не сравнивайте эти строки с тестом на иной длине ввода, железе или правилах разметки.

Обе карточки помечены лицензией MIT; её общий текст разрешает использование, копирование и модификацию при сохранении уведомления об авторском праве и лицензии, но не даёт гарантий пригодности s1 s2 s8. Это метка и условия опубликованного материала, а не заключение по вашей цепочке данных, зависимостей или правам на исходные документы: перед коммерческой установкой сверяйте файл лицензии поставляемого артефакта и требования каждого компонента. Открытые веса не равны доказанному качеству, бесплатной инфраструктуре или отсутствию сетевых загрузок.

Как проверить выбор на своём RAG-пилоте?

1. Возьмите небольшой набор обезличенных русских фрагментов с размеченными правильными ответами: счета, регламенты и несколько похожих, но нерелевантных отрывков. Для каждого вопроса заранее запишите ожидаемый document_id и фрагмент; отдельные вопросы по артикулам потребуют сравнения с точным или гибридным поиском. Это предлагаемый протокол, не проведённый Modelium эксперимент.
2. На одном и том же наборе по очереди кодируйте документы и вопросы одной из двух моделей; сохраняйте полный SHA, runtime, подготовку текста, инструкцию только на запросе, pooling, нормализацию и длину фрагмента s1 s2 s5 s6. Для второго варианта постройте отдельный индекс с его размерностью. Не подставляйте векторы от 480M в поиск по 3B.
3. Сравните, попал ли нужный фрагмент в первые результаты для каждого вопроса, где ошибается каждая модель, какова наблюдаемая задержка и реальный расход памяти на вашем железе. Затем проверьте цитаты генерируемого ответа по исходному фрагменту: высокий retrieval score не гарантирует правильной генерации. Если документы с разными правами, контролируйте доступ до retrieval, а не просите модель скрыть запрещённый фрагмент.

Следующий шаг: составьте протокол оценки качества RAG с известными ответами и сравните два индекса на одинаковых вопросах. Выбирайте 480M или 3B только после такой проверки, оценки доступного железа и условий реального применения: у Modelium нет собственного замера, который назначал бы победителя.