EmbeddingGemma 2 получила нативный MLX-путь для локального поиска на Mac

Какие веса доступны и как начать

Публичный mlx-community/embeddinggemma-2-bf16 при закреплённой ревизии 1a4ffddb7905d3f63486748deabe091a01fb6201 содержит model.safetensors, индекс весов, конфигурацию энкодеров и процессора. Карточка связывает конверсию с Google-ревизией 914f7f89142e33e77833254d9c9b90c3cef7303b; оба репозитория маркированы Apache-2.0. Публичен и mlx-community/embeddinggemma-2-8bit с ревизией 7505ef2f8ddef45efef6d060865f27989b3c9cec. Это открытые веса и разрешительная лицензия; реализация MLX-VLM отдельно распространяется по MIT. Размер файла весов не является требованием к RAM. s4 s5 s6 s7

Для изучения API закрепите исходники MLX-VLM на указанном merge-коммите и используйте пример из mlx_vlm/models/embedding_gemma2/README.md: mlx_vlm.load получает модель и локальный процессор, apply_chat_template(..., return_tensors="mlx") готовит пакет, а model(**inputs).text_embeds возвращает векторы. В примерах разработчиков ID nativ-community/embeddinggemma-2 сейчас недоступен без авторизации (HF API отвечает 401); не копируйте этот ID как публичный рецепт. Вместо него опубликован полный BF16-пакет mlx-community/embeddinggemma-2-bf16 с model_type=embedding_gemma2, однако Modelium не выполнял запуск на Mac и не удостоверял совместимость этой подстановки end-to-end. Начните с text-only проверки на собственном устройстве, затем проверьте обработку изображения/аудио/видео и норму результата. Карточка конверсии написана для более ранней ветки с внешним EmbeddingGemma2Processor и предупреждает о несовместимости stock Transformers 5.18.0; в уже влитом PR реализован локальный процессор. Поэтому закрепляйте именно ревизию реализации, не смешивая инструкции разных коммитов. s2 s5 s8

Если нужен меньший файл весов, 8-bit конверсия имеет примерно 1,234 млрд байт против 1,489 млрд у BF16 по индексам моделей; это объём артефактов на диске, а не оценка оперативной памяти. Карточка сообщает, что 8-bit квантует текстовый энкодер и аудиопроекцию, оставляя другие части BF16. Для задач, где ранжирование чувствительно к малым разницам, сначала сравните на своём наборе BF16 и 8-bit. s5 s6

Что означают тесты разработчиков

По данным авторов PR, 363 теста процессора, 64 специализированных теста без Torch и девять ячеек ноутбука прошли; 51 видеосравнение на их проверенной конфигурации дало минимум косинусного сходства 0,999531 с FP32-эталоном. README указывает Apple M5 Max, MLX 0.32.3, stock Transformers 5.14.0 для локального процессора, а для эталона — предоставленную сборку Transformers 5.18.0.dev0 и FFmpeg 8.1.2. Для неподдерживаемых видеосборок предусмотрен fallback OpenCV: цвет и тайминг кадров могут отличаться. Это численная близость в выбранных примерах, а не независимый MTEB-результат или гарантия точности поиска на ваших данных; Modelium модель не тестировал. Авторы также предупреждают, что стандартная 4-bit конверсия не прошла их пороги точности — не выбирайте её только по размеру. s1 s2

Следующий шаг: возьмите закреплённые коммит реализации и BF16-ревизию, соберите небольшой набор своих русскоязычных запросов и документов, затем проверьте совпадение размерностей, повторную нормализацию и качество top-k до перехода на 8-bit или мультимодальный индекс. Для выбора альтернативного локального runtime этой же модели см. отдельный материал о LiteRT-LM 0.18.0; возможности двух движков нельзя смешивать. s2 s9