Ruri v3 для MLX: три японских эмбеддера на Apple Silicon

Что доступно

• masahiroid/ruri-v3-30m-mlx: BF16-файл model.safetensors и индекс весов; около 73,4 МБ на диске. s1
• masahiroid/ruri-v3-130m-mlx: BF16-файл и индекс; около 264,3 МБ на диске. s2
• masahiroid/ruri-v3-310m-mlx: BF16-файл и индекс; около 629,2 МБ на диске. s3

Это размеры опубликованных файлов, не минимальные требования к объединённой памяти Mac. Размеры проверены по манифестам Hugging Face, а не вычислены из названия модели. В каждой из трёх закреплённых ревизий API перечисляет файл весов, токенизатор, конфигурацию и индекс; индекс указывает на model.safetensors. Конверсия не заявлена как квантизация и не обещает прироста скорости или качества относительно оригинала. s1 s2 s3

Где это полезно

Сценарий — локальный семантический поиск по японским документам: преобразовать запрос и документы в векторы, затем ранжировать по косинусному сходству. Для большого архива сначала проверяют качество на собственных японских запросах, а не переносят цифры исходного бенчмарка на новую конверсию. У исходного Ruri v3 разные префиксы для задач: 検索クエリ: для поискового запроса, 検索文書: для документа, пустой префикс для общей семантики и トピック: для классификации/кластеризации. Это важно при сравнении с оригиналом и построении индекса. s4

В карточке MLX-версии показаны другие строки — クエリ: и 文章: . Они не совпадают с префиксами, которые документирует команда исходной модели. Поэтому механически копировать пример карточки как сопоставимый с авторской оценкой качества нельзя: используйте префиксы оригинала и сравните результаты на собственной выборке. Мы не запускали веса и не измеряли точность или скорость на Mac. s3 s4

Как подступиться к проверке

Карточки конверсий предлагают установить mlx-embeddings и загрузить нужный репозиторий через load(...), затем получить output.text_embeds посредством generate(...). Например, начните с 30M-версии и небольшой размеченной пары «японский запрос — релевантный документ»; проверьте загрузку, размерность векторов и ранжирование, прежде чем перестраивать индекс. Публичный код mlx-embeddings содержит реализацию ModernBERT и нормализацию векторов, но сама публикация файлов и просмотр кода не являются подтверждением, что именно эти новые артефакты были нами запущены. Версия пакета PyPI на момент проверки — 0.1.0; конфигурации конверсий указывают model_type: modernbert. s1 s3 s5 s6

Рядом появился неофициальный ruri-v3-reranker-310m-mlx, но его карточка предлагает тот же пример косинусного сходства эмбеддингов, что и у эмбеддера, тогда как конфигурация объявляет ModernBertForSequenceClassification, а индекс содержит веса classifier. Не считайте эту демонстрацию проверенным способом получить оценки реранкера; новость и рекомендации выше относятся только к трём эмбеддерам. s7

Права и ограничения

У всех трёх конверсий и исходного Ruri v3 карточки указывают Apache-2.0. Это метка лицензии на опубликованные веса; она допускает коммерческое использование при соблюдении её условий, но не означает проверенную работоспособность конкретной сборки или точность на вашем корпусе. Новых независимых сравнений MLX-конверсий с PyTorch-оригиналами автор не публикует. Для русскоязычного поиска это не универсальная замена многоязычным эмбеддерам: исходная модель описана как японская. s1 s2 s3 s4

Следующий шаг: выберите 30M, 130M или 310M по проверяемому качеству на своём японском корпусе, закрепите ревизию Hugging Face, используйте префиксы исходного Ruri v3 и сравните результаты с исходным SentenceTransformers-чекпойнтом до применения в рабочем поиске. s1 s2 s3 s4