# LiteRT-LM 0.18.0: локальный API эмбеддингов для EmbeddingGemma 2

Источник: https://modelium.tech/zhurnal/litert-lm-0-18-0-embeddinggemma-2-local-api/

LiteRT-LM 0.18.0 добавляет поддержку мультимодальных эмбеддингов EmbeddingGemma 2 в Python, Kotlin, Swift, JavaScript и C++. Локальный сервер получил совместимый с OpenAI маршрут /v1/embeddings, CLI — импорт моделей и команду describe для просмотра их возможностей. Готовые LiteRT-пакеты опубликованы отдельно для текста, текста с изображениями и полного набора модальностей; совместимость и качество выбранного пакета следует проверять на целевом устройстве.

LiteRT-LM 0.18.0: локальный API эмбеддингов для EmbeddingGemma 2

**6 октября 2026 года Google выпустила стабильный LiteRT-LM 0.18.0.** Его главное прикладное изменение — поддержка мультимодальных эмбеддингов EmbeddingGemma 2 и локальный, совместимый с OpenAI маршрут `/v1/embeddings` в сервере `litert-lm serve`. Это новость о *runtime и готовых LiteRT-пакетах*, а не о новой базовой модели: [разбор самой EmbeddingGemma 2](https://modelium.tech/zhurnal/embeddinggemma-2-multimodal-local-search-gguf/) опубликован отдельно. [s1](#src-s1) [s2](#src-s2)

## Что изменилось в runtime

В релизе Google заявляет поддержку эмбеддингов текста, изображений и аудио с сокращением размерности Matryoshka через Python, Kotlin, Swift, Web/JavaScript и C++. В CLI добавлены быстрый импорт (`litert-lm import`) и просмотр сведений о модели (`litert-lm describe`): последний должен показывать метаданные, возможности и требования runtime до загрузки. Сервер получил `/v1/embeddings` для локальной выдачи векторов. Отдельно авторы указывают динамический рост KV-кеша на NPU и оптимизацию маски внимания на GPU; это изменения runtime, а не доказанный нами прирост скорости в вашем сценарии. [s1](#src-s1)

Официальная документация показывает установку `litert-lm==0.18.0`, запуск `litert-lm serve --host 127.0.0.1 --port 9379` и POST на `http://127.0.0.1:9379/v1/embeddings`. В демонстрационном запросе указан пример имени модели; его нельзя без проверки подменить именем произвольного файла из Hugging Face. Сначала импортируйте или зарегистрируйте конкретный LiteRT-артефакт по инструкции для вашей платформы, посмотрите `describe` и только затем отправляйте тестовый текст. Не открывайте сервер вовне без собственной схемы аутентификации и контроля доступа. [s1](#src-s1) [s2](#src-s2)

## Какой пакет выбрать

Сообщество LiteRT опубликовало три разных пакета EmbeddingGemma 2 с готовыми файлами `.litertlm` и вариантами под конкретные ускорители. **270M** — только текст; **440M** — текст плюс изображения; **740M** — текст, изображения, аудио и видео. Все три репозитория доступны без HF-gate и помечены Apache-2.0; в каждом по состоянию на проверку присутствует один общий файл `.litertlm` и десять файловых вариантов под платформы/ускорители. Это число файлов описывает каталог артефактов, а не число необходимых для одновременной загрузки весов. Нужную конфигурацию и доступность конкретного backend выбирайте по документации и возможностям устройства, не по одному лишь размеру скачивания. [s3](#src-s3) [s4](#src-s4) [s5](#src-s5)

В карточке 740M заявлены единое пространство эмбеддингов на 768 измерений и поддержка сокращения до 512, 256 или 128; если сокращаете векторы, проверяйте нормализацию и одинаковую размерность у запросов и индекса. Карточка приводит авторские измерения задержки для разных устройств, но методика использует текстовую сигнатуру 128 токенов, визуальную — 70, аудиофайлы длительностью 5 или 10 секунд и среднее по пяти итерациям. Память измерялась при повторной загрузке и разными системными метриками; в ряде режимов метрика **не включает память ускорителя**. Такие цифры нельзя переносить на первое открытие приложения, длинный контекст или требование к минимальной RAM/VRAM. Modelium собственных измерений не проводил. [s5](#src-s5)

**Практический следующий шаг:** для локального текстового поиска возьмите 270M; если индексируете также изображения — 440M; для связанного поиска по тексту, изображению и звуку изучите 740M. Проверьте эмбеддинги на небольшой собственной выборке, сопоставляя релевантные и нерелевантные пары, прежде чем переиндексировать всю коллекцию. Если нужен другой стек, сравните с [исходным checkpoint и GGUF-путём EmbeddingGemma 2](https://modelium.tech/zhurnal/embeddinggemma-2-multimodal-local-search-gguf/): это отдельные форматы и runtime, совпадение результатов не следует предполагать. [s2](#src-s2) [s3](#src-s3) [s4](#src-s4) [s5](#src-s5)

## Источники

1. [LiteRT-LM v0.18.0 — официальный релиз Google AI Edge](https://github.com/google-ai-edge/LiteRT-LM/releases/tag/v0.18.0) — получено 2026-10-06
2. [Embedding models in LiteRT-LM — документация Google](https://developers.google.com/edge/litert-lm/embedding_models) — получено 2026-10-06
3. [EmbeddingGemma 2 Text 270M — официальный LiteRT Community HF](https://huggingface.co/litert-community/embeddinggemma-2-text-270m-litert-lm/tree/9be6e8b90982095dc05c2bd162e4b954ee4dbac7) — получено 2026-10-06
4. [EmbeddingGemma 2 Text Vision 440M — официальный LiteRT Community HF](https://huggingface.co/litert-community/embeddinggemma-2-text-vision-440m-litert-lm/tree/e301f74d5551b0c2641bd5cb4652a76239d5c5f8) — получено 2026-10-06
5. [EmbeddingGemma 2 740M — карточка и файлы LiteRT Community HF](https://huggingface.co/litert-community/embeddinggemma-2-740m-litert-lm/tree/24d962e906c7d332c6428e71c9676855024569e2) — получено 2026-10-06