Sazanami-310M: четыре локальные модели японского поиска и цена многовекторности

Sazanami-310M: четыре варианта японского поиска с разной ценой индекса

3 октября 2026 года автор mahiyama разместил на Hugging Face четыре чекпойнта одного семейства японского поиска: Sazanami-ColBERT-310m, Sazanami-AGC-310m, Sazanami-MetaEmbed-310m и Sazanami-Embed-310m. У всех доступны файлы Safetensors; исходный ModernBERT-Ja-310m и учебные данные, по описанию автора, общие. Это не четыре независимых базовых модели и не готовое решение для русскоязычного поиска: область карточек — японский язык. s1s2s3s4

Что выбрать для локального RAG

Embed представляет документ одним вектором размерности 768. Это самый простой вариант для обычной векторной базы и дешёвого хранения. ColBERT сохраняет векторы токенов и оценивает соответствие через MaxSim — полезно, когда нужный фрагмент спрятан в длинном документе, но индекс и сравнение дороже. AGC сжимает документ до 32 векторов; MetaEmbed сохраняет максимум 64 вектора и допускает уменьшение используемого числа. Для AGC и MetaEmbed карточки показывают загрузку через MultiVectorEncoder из sentence-transformers 6.0.0+ с trust_remote_code=True: прежде чем применять эти пакеты к закрытым данным, изучите код репозитория и закрепите ревизию. У Embed пример использует SentenceTransformer; это разные процедуры интеграции. s1s2s3s4

Сначала попробуйте одно-векторный Embed на своём японском корпусе; если на длинных документах теряются релевантные фрагменты, сравните ColBERT и два компромиссных многовекторных варианта. Для AGC/MetaEmbed нужны индекс и подсчёт MaxSim, а не слепая замена одного вектора в привычной векторной базе. Карточки описывают локальный inference, но Modelium запуск и измерения не проводил. s1s2s3s4

Что показали авторские тесты — и чего они не доказывают

Автор оценил три из 11 retrieval-задач JMTEB(v2), а не весь бенчмарк: Mintaka (1 592 документа, 2 312 запросов), JaGovFaqs (22 794 и 2 048), Jaqket (114 229 и 997). Для Jaqket при ограничении документа 1 024 токенами и вопроса 256 токенами NDCG@10 составил 0,77868 у ColBERT, 0,72986 у AGC, 0,72855 у MetaEmbed и 0,69682 у Embed. Для JaGovFaqs выше MetaEmbed (0,79316), а на Mintaka также лидирует MetaEmbed (0,22697). Поэтому утверждать, что многовекторный ColBERT всегда точнее, нельзя; качество зависит от корпуса и задачи. Эти цифры получены автором и независимо Modelium не воспроизводились. s1s3

На Jaqket автор сообщает в среднем 741,4 токен-вектора документа у ColBERT против 32 у AGC, 64 у MetaEmbed и одного вектора у Embed. Сообщаемые им отношения объёма индекса — примерно 1/23, 1/12 и 1/124 от ColBERT соответственно. Это сравнение представлений конкретного корпуса, не требования к RAM/VRAM, не скорость полного RAG-пайплайна и не оценка на русском. Сохранённый лимит контекста 8 192 токена не означает обучение на столь длинных документах: автор указывает 512 токенов для Embed и 512 документных токенов для ColBERT при обучении. s1s4

Лицензия и ограничения внедрения

Карточки маркируют веса MIT, как и базовую модель; это не равнозначно разрешению всех сценариев использования учебного корпуса. Автор прямо предупреждает: в данных есть японский перевод MS MARCO, коммерческие права на исходный MS MARCO не ясны, а часть собранных FAQ не перераспространяется и имеет собственные условия. Карточка датасета mMARCO-ja тоже выделяет возможное ограничение исходных данных. Не называйте семейство безусловно разрешённым для коммерческого применения: перед таким запуском проверьте право на конкретные данные и своё использование. s1s4s5

Следующий шаг: сравните хотя бы Embed и ColBERT на собственном наборе японских вопросов с длинными и короткими документами; фиксируйте одинаковый корпус, ограничения длины и стоимость индекса. Скачивайте веса по закреплённым ревизиям из источников ниже и читайте код AGC/MetaEmbed до включения trust_remote_code. s1s2s3s4