# GLiNER2.5 Multi для LiteRT: сущности на Android GPU без облака

Источник: https://modelium.tech/zhurnal/gliner25-multi-litert-android-english-japanese-ner/

2 октября 2026 года сообщество опубликовало LiteRT-конверсию GLiNER2.5 Multi: три файла графов с окнами 128, 256 и 512 токенов, host-ресурсы и Python-пример. Это локальное извлечение пяти типов сущностей из английского и японского текста; автор проверил совпадение наборов выделенных фрагментов с исходной моделью на Galaxy S26 при явном выборе GPU FP32. Android-приложение и полный Kotlin host pipeline не поставляются, а NPU-вариант автор не признал прошедшим проверку качества.

## Что вышло

2 октября 2026 года в `litert-community/GLiNER2.5-Multi-LiteRT` опубликована конверсия весов `fastino/gliner2.5-multi-v1` для LiteRT. Это **пакет сообщества на основе опубликованной модели Fastino**, а не новая модель Fastino и не официальное Android-приложение. История репозитория фиксирует начальный коммит в 08:50 UTC и загрузку пакета в 09:09 UTC. Закреплённая ревизия `3bcde0b8` содержит три рекомендованных графа `wfp16` для окон 128, 256 и 512 токенов, три справочных FP32-графа, таблицы эмбеддингов, токенизатор, sparse-декодер, host-код на Python, пример и описание контракта. Полный список файлов API и размеры графов сверены с манифестом: 191 876 560, 211 168 608 и 250 248 384 байта соответственно. Это **размеры отдельных файлов**, а не минимальная RAM телефона. [s1](#src-s1)[s2](#src-s2)[s3](#src-s3)[s9](#src-s9)

Практическая задача — локально выделять из английских и японских строк имена людей, организации, места, продукты и даты. Например, размечать названия товаров и организаций прямо на устройстве до отправки данных в последующий процесс. В этой конверсии зафиксированы пять меток в определённом порядке и порог 0,5: произвольные классы, отношения, классификация документов и русскоязычный ввод **не проверялись**. Исходная GLiNER2.5 Multi умеет больше, но полноту её возможностей нельзя автоматически переносить на этот LiteRT-пакет. [s2](#src-s2)[s4](#src-s4)

## Как оценить для своего проекта

- Начните с закреплённой ревизии пакета на Hugging Face и прочитайте `HOST_CONTRACT.md`. Для коротких текстов автор рекомендует `gliner25_multi_s128_wfp16.tflite`; более длинные входы выбирают окно 256 или 512 по числу токенов и текстовых слотов, а не по числу исходных символов. В комплекте отдельно нужны host-таблица эмбеддингов и sparse-декодер: одного файла `.tflite` недостаточно для готовых сущностей. [s1](#src-s1)[s2](#src-s2)[s5](#src-s5)

- Для первого воспроизведения используйте поставленный Python-пример `examples/run_example.py` с указанным в карточке `--splitter whitespace` для английского текста либо `--splitter char` для японского. Установку автор привязывает к `requirements-lock.txt`. Это путь для проверки полной цепочки на desktop CPU; **Modelium не запускал его и не подтверждает результат на своём оборудовании**. [s2](#src-s2)[s6](#src-s6)

- Если нужен Android GPU, сверяйте собственную реализацию host-части с `host_assets/example.json` и контрактом. Авторский Kotlin-фрагмент запускает только плотный граф через LiteRT 2.2.0 и принудительно задаёт `GpuOptions.Precision.FP32`; токенизация, построение входов, поиск строк таблицы и декодирование остаются на стороне host. Готового сквозного Android SDK в репозитории нет. [s2](#src-s2)[s5](#src-s5)

## Что означают авторские измерения

По сообщению автора, на Galaxy S26 GPU с явной точностью FP32 дал те же **наборы выделенных фрагментов**, что исходный `gliner2` 2.0.0 при пороге 0,5: 70/70, 75/75 и 80/80 подходящих тестовых входов для окон 128/256/512. Это сравнение конверсии с исходной моделью, **не оценка правильности сущностей на независимой разметке**: в десяти японских контрольных фразах исходная модель и конверсия нашли лишь 4 из 10 ожидаемых организаций. Для NPU совпадения ниже — 69/70, 72/75 и 77/80; автор измерил NPU, но не признал его проверенной конфигурацией. Режим GPU с точностью по умолчанию тоже изменил один набор фрагментов из 70. Ни результаты, ни времена исполнения Modelium независимо не воспроизводил; телефон автора не является минимальным требованием к устройству. [s2](#src-s2)[s7](#src-s7)

Лицензия пакета и исходного чекпойнта обозначена Apache-2.0, в репозитории есть текст `LICENSE` и `NOTICE`; mDeBERTa-v3 в составе исходного стека сопровождается MIT-текстом. Это допускает коммерческое применение **при соблюдении применимых условий и уведомлений**, но не гарантирует пригодность или качество для вашей задачи. Для русского NER начните с исходной GLiNER2.5 Multi и своего размеченного тестового набора: именно для этой Android-конверсии русский язык не валидирован. [s1](#src-s1)[s2](#src-s2)[s4](#src-s4)[s8](#src-s8)

## Источники

1. [Hugging Face API: GLiNER2.5 Multi LiteRT, pinned revision and complete files](https://huggingface.co/api/models/litert-community/GLiNER2.5-Multi-LiteRT/revision/3bcde0b8848de935aa33f94b1e81a0c9b58a843c?blobs=true) — получено 2026-10-02
2. [GLiNER2.5 Multi LiteRT: model card and author evaluation](https://huggingface.co/litert-community/GLiNER2.5-Multi-LiteRT/blob/3bcde0b8848de935aa33f94b1e81a0c9b58a843c/README.md) — получено 2026-10-02
3. [GLiNER2.5 Multi LiteRT: pinned manifest](https://huggingface.co/litert-community/GLiNER2.5-Multi-LiteRT/blob/3bcde0b8848de935aa33f94b1e81a0c9b58a843c/manifest.json) — получено 2026-10-02
4. [Fastino GLiNER2.5 Multi: upstream model card](https://huggingface.co/fastino/gliner2.5-multi-v1/blob/235cf92d6d4318da9bfca0d08975c8fa7250d13b/README.md) — получено 2026-10-02
5. [GLiNER2.5 Multi LiteRT: pinned host contract](https://huggingface.co/litert-community/GLiNER2.5-Multi-LiteRT/blob/3bcde0b8848de935aa33f94b1e81a0c9b58a843c/HOST_CONTRACT.md) — получено 2026-10-02
6. [GLiNER2.5 Multi LiteRT: pinned Python example](https://huggingface.co/litert-community/GLiNER2.5-Multi-LiteRT/blob/3bcde0b8848de935aa33f94b1e81a0c9b58a843c/examples/run_example.py) — получено 2026-10-02
7. [GLiNER2.5 Multi LiteRT: upstream provenance and validation metadata](https://huggingface.co/litert-community/GLiNER2.5-Multi-LiteRT/blob/3bcde0b8848de935aa33f94b1e81a0c9b58a843c/upstream.json) — получено 2026-10-02
8. [GLiNER2.5 Multi LiteRT: Apache 2.0 license](https://huggingface.co/litert-community/GLiNER2.5-Multi-LiteRT/blob/3bcde0b8848de935aa33f94b1e81a0c9b58a843c/LICENSE) — получено 2026-10-02
9. [GLiNER2.5 Multi LiteRT: commit history](https://huggingface.co/api/models/litert-community/GLiNER2.5-Multi-LiteRT/commits/main?limit=20) — получено 2026-10-02