PLaMo-Embedding-1B для Core ML: японский поиск на iOS и Mac

Что опубликовано

В закреплённой ревизии 073f5b47 находятся три .mlpackage в FP16: для последовательностей 128, 256 и 512 токенов. Каждый пакет содержит model.mlmodel, Manifest.json и полный файл weight.bin; размеры файлов весов по API Hugging Face — 2 101 404 672, 2 101 470 208 и 2 101 601 280 байт соответственно. Это размер файлов на диске, не требование к оперативной или объединённой памяти. Токенизатор не вложен в конверсию: карточка предлагает использовать tokenizer.model из исходного репозитория. INT8-версию автор сознательно не выпустил: в его сравнении она заметно расходилась с FP16. s1 s3

Выход — 2048-мерный эмбеддинг с нормализацией L2 и усреднением по маске. Для документа авторский пример подаёт одинаковые attention_mask и embed_mask; для поискового запроса исходная реализация добавляет японскую инструкцию 次の文章に対して、関連する文章を検索してください: и исключает её токены из embed_mask. Если не повторить эту подготовку на стороне приложения, запрос и индекс будут кодироваться иначе. Core ML-пакеты имеют фиксированные длины, поэтому клиент должен сам выбрать подходящий пакет, токенизировать строку и сформировать три массива входов. Это компонент для разработчика, а не готовое приложение или универсальная команда запуска. s1 s4

Лицензия и проверка качества

Исходные веса Preferred Networks сопровождаются LICENSE.txt Apache 2.0; производный репозиторий также помечен Apache 2.0. Это лицензия весов, а не обещание, что любые приложения, наборы данных или дополнительные компоненты автоматически имеют те же условия. Автор конверсии сообщает косинусное сходство 0,9976–0,9996 между её выходом и исходной реализацией на своём сравнении, но признаёт различие в обработке специальных токенов и не приводит здесь независимую оценку качества поиска на датасете. Значения — замеры автора, не тест Modelium и не гарантия одинаковой ранжировки. У оригинала в карточке есть результаты JMTEB, но переносить их без новой оценки на Core ML-версию нельзя. s1 s2 s5

Как принять решение о внедрении

Для прототипа японского поиска разработчик может выбрать пакет по нужной длине, взять исходный SentencePiece-токенизатор, реализовать две маски и сравнить выдачу на собственных парах запрос–документ с исходным encode_query/encode_document. Пример загрузки через Swift MLModel и Python coremltools приведён в карточке конверсии, но там остаются места для заполнения токенизации и массивов; выдавать его за готовое приложение нельзя. Перед коммерческим внедрением нужны собственные проверки точности, скорости, памяти и юридических условий всего стека. Modelium веса не загружал на устройство и инференс не запускал. s1 s4

Первоисточники: закреплённая карточка и дерево файлов конверсии, история коммитов, карточка/лицензия и исходный код оригинальной модели. s1 s2 s3 s4 s5