# Sazanami-310M: четыре локальные модели японского поиска и цена многовекторности

Источник: https://modelium.tech/zhurnal/sazanami-310m-japanese-retrieval-colbert-agc-metaembed/

3 октября 2026 года на Hugging Face появились четыре чекпойнта Sazanami-310M для японского поиска: ColBERT, AGC, MetaEmbed и одно-векторный Embed. Они сопоставляют точность и стоимость индекса на трёх авторских задачах; полные веса доступны локально. MIT указан для весов, но коммерческие права на часть учебных данных не установлены: для коммерческого внедрения нужна отдельная правовая проверка. [[s1]][[s4]][[s5]]

Sazanami-310M: четыре варианта японского поиска с разной ценой индекса

3 октября 2026 года автор mahiyama разместил на Hugging Face четыре чекпойнта одного семейства японского поиска: Sazanami-ColBERT-310m, Sazanami-AGC-310m, Sazanami-MetaEmbed-310m и Sazanami-Embed-310m. У всех доступны файлы Safetensors; исходный ModernBERT-Ja-310m и учебные данные, по описанию автора, общие. Это не четыре независимых базовых модели и не готовое решение для русскоязычного поиска: область карточек — японский язык. [s1](#src-s1)[s2](#src-s2)[s3](#src-s3)[s4](#src-s4)

## Что выбрать для локального RAG

**Embed** представляет документ одним вектором размерности 768. Это самый простой вариант для обычной векторной базы и дешёвого хранения. **ColBERT** сохраняет векторы токенов и оценивает соответствие через MaxSim — полезно, когда нужный фрагмент спрятан в длинном документе, но индекс и сравнение дороже. **AGC** сжимает документ до 32 векторов; **MetaEmbed** сохраняет максимум 64 вектора и допускает уменьшение используемого числа. Для AGC и MetaEmbed карточки показывают загрузку через `MultiVectorEncoder` из sentence-transformers 6.0.0+ с `trust_remote_code=True`: прежде чем применять эти пакеты к закрытым данным, изучите код репозитория и закрепите ревизию. У Embed пример использует `SentenceTransformer`; это разные процедуры интеграции. [s1](#src-s1)[s2](#src-s2)[s3](#src-s3)[s4](#src-s4)

Сначала попробуйте одно-векторный Embed на своём японском корпусе; если на длинных документах теряются релевантные фрагменты, сравните ColBERT и два компромиссных многовекторных варианта. Для AGC/MetaEmbed нужны индекс и подсчёт MaxSim, а не слепая замена одного вектора в привычной векторной базе. Карточки описывают локальный inference, но Modelium запуск и измерения не проводил. [s1](#src-s1)[s2](#src-s2)[s3](#src-s3)[s4](#src-s4)

## Что показали авторские тесты — и чего они не доказывают

Автор оценил три из 11 retrieval-задач JMTEB(v2), а не весь бенчмарк: Mintaka (1 592 документа, 2 312 запросов), JaGovFaqs (22 794 и 2 048), Jaqket (114 229 и 997). Для Jaqket при ограничении документа 1 024 токенами и вопроса 256 токенами NDCG@10 составил 0,77868 у ColBERT, 0,72986 у AGC, 0,72855 у MetaEmbed и 0,69682 у Embed. Для JaGovFaqs выше MetaEmbed (0,79316), а на Mintaka также лидирует MetaEmbed (0,22697). Поэтому утверждать, что многовекторный ColBERT всегда точнее, нельзя; качество зависит от корпуса и задачи. Эти цифры получены автором и независимо Modelium не воспроизводились. [s1](#src-s1)[s3](#src-s3)

На Jaqket автор сообщает в среднем 741,4 токен-вектора документа у ColBERT против 32 у AGC, 64 у MetaEmbed и одного вектора у Embed. Сообщаемые им отношения объёма индекса — примерно 1/23, 1/12 и 1/124 от ColBERT соответственно. Это сравнение представлений конкретного корпуса, **не требования к RAM/VRAM**, не скорость полного RAG-пайплайна и не оценка на русском. Сохранённый лимит контекста 8 192 токена не означает обучение на столь длинных документах: автор указывает 512 токенов для Embed и 512 документных токенов для ColBERT при обучении. [s1](#src-s1)[s4](#src-s4)

## Лицензия и ограничения внедрения

Карточки маркируют **веса MIT**, как и базовую модель; это не равнозначно разрешению всех сценариев использования учебного корпуса. Автор прямо предупреждает: в данных есть японский перевод MS MARCO, коммерческие права на исходный MS MARCO не ясны, а часть собранных FAQ не перераспространяется и имеет собственные условия. Карточка датасета mMARCO-ja тоже выделяет возможное ограничение исходных данных. Не называйте семейство безусловно разрешённым для коммерческого применения: перед таким запуском проверьте право на конкретные данные и своё использование. [s1](#src-s1)[s4](#src-s4)[s5](#src-s5)

**Следующий шаг:** сравните хотя бы Embed и ColBERT на собственном наборе японских вопросов с длинными и короткими документами; фиксируйте одинаковый корпус, ограничения длины и стоимость индекса. Скачивайте веса по закреплённым ревизиям из источников ниже и читайте код AGC/MetaEmbed до включения `trust_remote_code`. [s1](#src-s1)[s2](#src-s2)[s3](#src-s3)[s4](#src-s4)

## Источники

1. [Sazanami-ColBERT-310m: карточка и результаты автора, ревизия ba8e1681](https://huggingface.co/mahiyama/Sazanami-ColBERT-310m/blob/ba8e16818f76bf86629d5a924eac412c8ad017af/README.md) — получено 2026-10-03
2. [Sazanami-AGC-310m: карточка и код, ревизия 748a62df](https://huggingface.co/mahiyama/Sazanami-AGC-310m/blob/748a62dfe0943a9b8f05c65a997d0b99544c1a1d/README.md) — получено 2026-10-03
3. [Sazanami-MetaEmbed-310m: карточка, ревизия e7e4c26d](https://huggingface.co/mahiyama/Sazanami-MetaEmbed-310m/blob/e7e4c26d9c4dbe67a04cd8c8a1269db2609187e7/README.md) — получено 2026-10-03
4. [Sazanami-Embed-310m: карточка, ревизия 3296fcf6](https://huggingface.co/mahiyama/Sazanami-Embed-310m/blob/3296fcf6d6c5f856b2e859e8cf10da19cf9f30fb/README.md) — получено 2026-10-03
5. [mMARCO-ja: описание происхождения и ограничений данных](https://huggingface.co/datasets/mahiyama/mmarco-ja/blob/main/README.md) — получено 2026-10-03