LiteRT-LM 0.18.0: локальный API эмбеддингов для EmbeddingGemma 2

Что изменилось в runtime

В релизе Google заявляет поддержку эмбеддингов текста, изображений и аудио с сокращением размерности Matryoshka через Python, Kotlin, Swift, Web/JavaScript и C++. В CLI добавлены быстрый импорт (litert-lm import) и просмотр сведений о модели (litert-lm describe): последний должен показывать метаданные, возможности и требования runtime до загрузки. Сервер получил /v1/embeddings для локальной выдачи векторов. Отдельно авторы указывают динамический рост KV-кеша на NPU и оптимизацию маски внимания на GPU; это изменения runtime, а не доказанный нами прирост скорости в вашем сценарии. s1

Официальная документация показывает установку litert-lm==0.18.0, запуск litert-lm serve --host 127.0.0.1 --port 9379 и POST на http://127.0.0.1:9379/v1/embeddings. В демонстрационном запросе указан пример имени модели; его нельзя без проверки подменить именем произвольного файла из Hugging Face. Сначала импортируйте или зарегистрируйте конкретный LiteRT-артефакт по инструкции для вашей платформы, посмотрите describe и только затем отправляйте тестовый текст. Не открывайте сервер вовне без собственной схемы аутентификации и контроля доступа. s1 s2

Какой пакет выбрать

Сообщество LiteRT опубликовало три разных пакета EmbeddingGemma 2 с готовыми файлами .litertlm и вариантами под конкретные ускорители. 270M — только текст; 440M — текст плюс изображения; 740M — текст, изображения, аудио и видео. Все три репозитория доступны без HF-gate и помечены Apache-2.0; в каждом по состоянию на проверку присутствует один общий файл .litertlm и десять файловых вариантов под платформы/ускорители. Это число файлов описывает каталог артефактов, а не число необходимых для одновременной загрузки весов. Нужную конфигурацию и доступность конкретного backend выбирайте по документации и возможностям устройства, не по одному лишь размеру скачивания. s3 s4 s5

В карточке 740M заявлены единое пространство эмбеддингов на 768 измерений и поддержка сокращения до 512, 256 или 128; если сокращаете векторы, проверяйте нормализацию и одинаковую размерность у запросов и индекса. Карточка приводит авторские измерения задержки для разных устройств, но методика использует текстовую сигнатуру 128 токенов, визуальную — 70, аудиофайлы длительностью 5 или 10 секунд и среднее по пяти итерациям. Память измерялась при повторной загрузке и разными системными метриками; в ряде режимов метрика не включает память ускорителя. Такие цифры нельзя переносить на первое открытие приложения, длинный контекст или требование к минимальной RAM/VRAM. Modelium собственных измерений не проводил. s5

Практический следующий шаг: для локального текстового поиска возьмите 270M; если индексируете также изображения — 440M; для связанного поиска по тексту, изображению и звуку изучите 740M. Проверьте эмбеддинги на небольшой собственной выборке, сопоставляя релевантные и нерелевантные пары, прежде чем переиндексировать всю коллекцию. Если нужен другой стек, сравните с исходным checkpoint и GGUF-путём EmbeddingGemma 2: это отдельные форматы и runtime, совпадение результатов не следует предполагать. s2 s3 s4 s5