Перейти к содержанию
modelium.
Начать с задачи
←
Новость

GLiNER2.5 Multi для LiteRT: сущности на Android GPU без облака

На странице · 3 разделов

2 октября 2026 года сообщество опубликовало LiteRT-конверсию GLiNER2.5 Multi: три файла графов с окнами 128, 256 и 512 токенов, host-ресурсы и Python-пример. Это локальное извлечение пяти типов сущностей из английского и японского текста; автор проверил совпадение наборов выделенных фрагментов с исходной моделью на Galaxy S26 при явном выборе GPU FP32. Android-приложение и полный Kotlin host pipeline не поставляются, а NPU-вариант автор не признал прошедшим проверку качества.

Что вышло

2 октября 2026 года в litert-community/GLiNER2.5-Multi-LiteRT опубликована конверсия весов fastino/gliner2.5-multi-v1 для LiteRT. Это пакет сообщества на основе опубликованной модели Fastino, а не новая модель Fastino и не официальное Android-приложение. История репозитория фиксирует начальный коммит в 08:50 UTC и загрузку пакета в 09:09 UTC. Закреплённая ревизия 3bcde0b8 содержит три рекомендованных графа wfp16 для окон 128, 256 и 512 токенов, три справочных FP32-графа, таблицы эмбеддингов, токенизатор, sparse-декодер, host-код на Python, пример и описание контракта. Полный список файлов API и размеры графов сверены с манифестом: 191 876 560, 211 168 608 и 250 248 384 байта соответственно. Это размеры отдельных файлов, а не минимальная RAM телефона. s1s2s3s9

Практическая задача — локально выделять из английских и японских строк имена людей, организации, места, продукты и даты. Например, размечать названия товаров и организаций прямо на устройстве до отправки данных в последующий процесс. В этой конверсии зафиксированы пять меток в определённом порядке и порог 0,5: произвольные классы, отношения, классификация документов и русскоязычный ввод не проверялись. Исходная GLiNER2.5 Multi умеет больше, но полноту её возможностей нельзя автоматически переносить на этот LiteRT-пакет. s2s4

Как оценить для своего проекта

  1. Начните с закреплённой ревизии пакета на Hugging Face и прочитайте HOST_CONTRACT.md. Для коротких текстов автор рекомендует gliner25_multi_s128_wfp16.tflite; более длинные входы выбирают окно 256 или 512 по числу токенов и текстовых слотов, а не по числу исходных символов. В комплекте отдельно нужны host-таблица эмбеддингов и sparse-декодер: одного файла .tflite недостаточно для готовых сущностей. s1s2s5
  2. Для первого воспроизведения используйте поставленный Python-пример examples/run_example.py с указанным в карточке --splitter whitespace для английского текста либо --splitter char для японского. Установку автор привязывает к requirements-lock.txt. Это путь для проверки полной цепочки на desktop CPU; Modelium не запускал его и не подтверждает результат на своём оборудовании. s2s6
  3. Если нужен Android GPU, сверяйте собственную реализацию host-части с host_assets/example.json и контрактом. Авторский Kotlin-фрагмент запускает только плотный граф через LiteRT 2.2.0 и принудительно задаёт GpuOptions.Precision.FP32; токенизация, построение входов, поиск строк таблицы и декодирование остаются на стороне host. Готового сквозного Android SDK в репозитории нет. s2s5

Что означают авторские измерения

По сообщению автора, на Galaxy S26 GPU с явной точностью FP32 дал те же наборы выделенных фрагментов, что исходный gliner2 2.0.0 при пороге 0,5: 70/70, 75/75 и 80/80 подходящих тестовых входов для окон 128/256/512. Это сравнение конверсии с исходной моделью, не оценка правильности сущностей на независимой разметке: в десяти японских контрольных фразах исходная модель и конверсия нашли лишь 4 из 10 ожидаемых организаций. Для NPU совпадения ниже — 69/70, 72/75 и 77/80; автор измерил NPU, но не признал его проверенной конфигурацией. Режим GPU с точностью по умолчанию тоже изменил один набор фрагментов из 70. Ни результаты, ни времена исполнения Modelium независимо не воспроизводил; телефон автора не является минимальным требованием к устройству. s2s7

Лицензия пакета и исходного чекпойнта обозначена Apache-2.0, в репозитории есть текст LICENSE и NOTICE; mDeBERTa-v3 в составе исходного стека сопровождается MIT-текстом. Это допускает коммерческое применение при соблюдении применимых условий и уведомлений, но не гарантирует пригодность или качество для вашей задачи. Для русского NER начните с исходной GLiNER2.5 Multi и своего размеченного тестового набора: именно для этой Android-конверсии русский язык не валидирован. s1s2s4s8

Источники

  1. Hugging Face API: GLiNER2.5 Multi LiteRT, pinned revision and complete files — 43 siblings; license Apache-2.0; three wfp16 and three FP32 graph files. Получено 02.10.2026.
  2. GLiNER2.5 Multi LiteRT: model card and author evaluation — Scope, host split, Galaxy S26 measurement conditions, five labels, English/Japanese only. Получено 02.10.2026.
  3. GLiNER2.5 Multi LiteRT: pinned manifest — 40 payload files match Hugging Face siblings byte sizes. Получено 02.10.2026.
  4. Fastino GLiNER2.5 Multi: upstream model card — Upstream multilingual multi-task model; conversion has narrower validated scope. Получено 02.10.2026.
  5. GLiNER2.5 Multi LiteRT: pinned host contract. Получено 02.10.2026.
  6. GLiNER2.5 Multi LiteRT: pinned Python example. Получено 02.10.2026.
  7. GLiNER2.5 Multi LiteRT: upstream provenance and validation metadata. Получено 02.10.2026.
  8. GLiNER2.5 Multi LiteRT: Apache 2.0 license. Получено 02.10.2026.
  9. GLiNER2.5 Multi LiteRT: commit history. Получено 02.10.2026.