Перейти к содержанию
modelium.
Начать с задачи
←
Новость

EmbeddingGemma 2: локальный поиск по тексту, изображениям, аудио и видео

На странице · 2 разделов

6 октября 2026 года Google представила EmbeddingGemma 2 — открытую мультимодальную модель эмбеддингов на 740 млн параметров под Apache 2.0. Она кодирует текст, изображения, аудио и видео в общее 768-мерное пространство для поиска и RAG без облачной отправки данных. Официальные веса опубликованы на Hugging Face; ggml-org в тот же день выложила отдельную GGUF-конверсию с файлами модели и мультимодального проектора. Заявленные показатели качества принадлежат Google, а не независимому тесту Modelium.

EmbeddingGemma 2: локальный поиск по тексту, изображениям, аудио и видео

6 октября 2026 года Google официально представила EmbeddingGemma 2. Это модель эмбеддингов, а не чат-бот: она превращает текст, код, изображение, аудио, видео и их сочетания в векторы для семантического поиска, классификации и RAG. Анонс датирован 6 октября; дата создания HF-репозитория (14 сентября) сама по себе не является датой релиза, а закреплённая ревизия весов на HF обновлена в день анонса. s1 s2

Что доступно для локального запуска

В официальном репозитории Google доступен полный model.safetensors, конфигурация, токенизатор и процессор. Модель объединяет текстовый блок на 270 млн параметров, визуальный на 170 млн и аудио на 300 млн — всего 740 млн. Векторы имеют 768 измерений; поддерживается сокращение до 512, 256 или 128 измерений с повторной L2-нормализацией. Для текстовой обработки можно не загружать ненужные модальные энкодеры, но это не означает, что размер весов равен требованию к RAM. Лицензия исходной модели — Apache 2.0, допускающая коммерческое применение при соблюдении её условий. s1 s2 s3

В тот же день организация ggml-org загрузила отдельную автоматическую GGUF-конверсию: BF16 и Q8_0 для модели и соответствующие файлы mmproj для мультимодальных входов. В закреплённом дереве видны все четыре GGUF-файла. Карточка конверсии предлагает llama serve -hf ggml-org/embeddinggemma-2-GGUF; наличие файлов и этой команды — не подтверждение, что Modelium проверил работу всех четырёх модальностей, точность конверсии либо совместимость конкретной сборки llama.cpp. Не смешивайте базовый checkpoint Google и GGUF как одну и ту же проверенную реализацию. s4 s5

Как применить в поиске

Для первого текстового опыта начните с официальной модели и примера SentenceTransformer в карточке Google: закодируйте запрос с префиксом SearchQuery, документы — с Document или явным title: … | text: …, затем сравните нормализованные векторы. У запроса и индекса должна быть одинаковая размерность; после сокращения векторов их надо вновь нормализовать. Для изображений, звука и видео нужен подходящий процессор и проверка поддержки выбранной версии библиотеки — не переносите текстовый рецепт автоматически на все модальности. Google рекомендует BF16 либо FP32 и предупреждает, что FP16 может приводить к NaN или тихому ухудшению эмбеддингов. s2

Практическая польза: индексировать локальные документы и медиатеку, находить изображение по тексту или фрагмент видео по аудиозапросу, не отправляя исходные файлы в удалённый API. Сначала проверьте свой корпус и целевую платформу: Google приводит авторские результаты на MTEB, MIEB, MMEB и аудиотестах для полноточного checkpoint, а не для GGUF-квантов. Например, в карточке указаны MTEB code Mean(Task) NDCG@10 78,68 против 68,76 у предыдущей EmbeddingGemma; это результаты авторской оценки с её условиями, не наш замер и не обещание качества на русском корпусе. s1 s2

Выбор пути: официальный checkpoint и библиотека обработки — для проверки качества и совместного индекса по нескольким модальностям; GGUF — для эксперимента с локальным стеком llama.cpp после проверки конкретной версии и выходных векторов. Размеры скачиваемых файлов не переводятся напрямую в минимум RAM/VRAM. s2 s4 s5

Источники