# Laya для Android: локальные decision-модели получили сборки LiteRT

Источник: https://modelium.tech/zhurnal/laya-litert-android-local-decision-model/

Для Laya появились Apache-2.0-сборки LiteRT, которые выполняют классификацию, маршрутизацию и типизированные решения локально на Android. Авторы конверсии проверили английский и мультиязычный варианты на GPU Samsung Galaxy S26, но это валидация одного устройства: NPU, INT8 и другие семейства Android GPU не тестировались.

22 сентября 2026 года в Hugging Face появились три связанных пакета **Laya для LiteRT**: отдельные графы для английского и мультиязычного чекпойнтов, а также общий вариант с токенизаторами и контрактом Android-хоста. Они позволяют выполнять классификацию, маршрутизацию и типизированные решения на устройстве без обращения к облачной модели. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

Laya — не генеративная LLM. Модель получает состояние — например, письмо, тикет или JSON — и отвечает на заранее заданные вопросы трёх типов: выбор варианта, оценка по шкале или вероятность «да/нет». Текст она не генерирует. Исходное семейство Convai Innovations включает английский ModernBERT-вариант на 421 млн параметров, мультиязычный mmBERT-вариант на 322 млн и отдельный чекпойнт `typed-decisions`. Веса исходных моделей и конвертированные графы опубликованы под Apache-2.0; mmBERT-base отдельно заявляет MIT. [s4](#src-s4) [s1](#src-s1) [s2](#src-s2)

## Что именно стало доступно

### Мультиязычный пакет с Android-примером

`Laya-Multilingual-LiteRT` содержит LiteRT-графы, Kotlin-хост, токенизатор и готовый пример Android-приложения. Рекомендуемый комплект для окна 256 токенов занимает **679 274 893 байта** на диске: граф с float16-хранением весов, отдельная голова решения, таблица токенов, tokenizer и файл калибровки. Это размер файлов, а не заявленное требование к оперативной или видеопамяти. [s2](#src-s2)

Автор конверсии проверил конфигурацию LiteRT 2.2.0 с явным GPU FP32 на Samsung Galaxy S26. В карточке заявлены около **51 мс графового времени на вопрос** и примерно **60 мс end-to-end** в демонстрационном приложении при окне 256 токенов. Проверка охватывала 201 строку на английском и японском: выбор ответа совпал с официальной FP32-реализацией Laya на всех choice- и score-примерах. Это авторская валидация одной модели телефона, а не универсальный Android-бенчмарк. [s2](#src-s2)

### Английский и typed-decisions

`Laya-English-LiteRT` включает английский чекпойнт и специализированный `typed-decisions`. Рекомендуемый английский набор для окна 256 токенов занимает **847 582 366 байт**. На том же Galaxy S26 авторы сообщают примерно 123 мс графового времени для английского графа и 126 мс для `typed-decisions`. Вероятности и argmax сравнивались с официальной CPU FP32-реализацией Laya. [s1](#src-s1)

У этого пакета нет самостоятельного Android-приложения и готового Kotlin-токенизатора для английского ModernBERT: приложение должно предоставить собственные token IDs и позиции маркеров по опубликованному host contract. Если нужен наиболее законченный пример для Android, практичнее начинать с мультиязычного пакета. [s1](#src-s1) [s2](#src-s2)

### Общий пакет с token-id графами

`laya-LiteRT` хранит таблицу embeddings внутри графа и принимает token IDs. Такой вариант проще подключать через описанный авторами Android SDK, но FP32-файлы заметно крупнее: карточка указывает 1 287 375 376 байт для мультиязычного S256-графа и 1 684 754 688 байт для английского. Float16-хранение в этой форме не прошло компиляцию на протестированном GPU из-за разделения операций между GPU и CPU, поэтому авторы пометили соответствующие файлы как CPU-only. [s3](#src-s3)

## Для каких задач это полезно

Локальная decision-модель подходит для сценариев, где ответ можно выразить фиксированной схемой:

- маршрутизация обращений по отделам;

- модерация и guardrails;

- определение намерения пользователя;

- оценка срочности или риска;

- предварительный фильтр перед более дорогой генеративной моделью;

- обработка чувствительного текста без отправки исходных данных в облачный API.

В отличие от чат-модели, Laya не формулирует объяснение и не создаёт произвольный JSON. Она вычисляет распределение вероятностей по вариантам, заданным приложением. Это снижает сложность парсинга, но не устраняет ошибки классификации. [s4](#src-s4)

## Ограничения, которые нельзя пропускать

Публикация LiteRT прежде всего подтверждает **техническое совпадение конверсии с исходной моделью**, а не качество решений на новой предметной области. Карточка мультиязычного пакета прямо отмечает ошибочные ответы исходной Laya на части японских примеров. В общем пакете авторы получили точность 0,59 для мультиязычной и 0,61 для английской модели на отдельном публичном трёхвариантном наборе. [s2](#src-s2) [s3](#src-s3)

Исходная карточка Laya также предупреждает, что базовые чекпойнты на тесте `typed-decisions` близки к случайному уровню. Результат 0,766 относится к специализированному чекпойнту, дообученному на тренировочной части того же набора. Поэтому перед production-внедрением нужны собственные данные, проверка формулировок вопросов и повторная калибровка вероятностей. Все численные результаты здесь являются измерениями авторов моделей и конверсии; Modelium их независимо не воспроизводил. [s4](#src-s4)

Дополнительные границы текущего выпуска:

- проверен один Samsung Galaxy S26 и только явный режим GPU FP32;

- INT8 и NPU не оценивались;

- другие Android GPU и тепловые режимы не проверены;

- вопросы более чем с 20 вариантами выходят за пределы Android-валидации;

- окна фиксированы на 256 или 512 токенов, длинное состояние обрезается;

- показатели скорости нельзя переносить на другие устройства без отдельного теста. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

## Какой пакет выбрать

Для первого мобильного прототипа лучше использовать `Laya-Multilingual-LiteRT`: в нём есть Android-пример, Kotlin-токенизатор и проверенный комплект файлов. Для английских сценариев с ModernBERT или специализированного `typed-decisions` нужен `Laya-English-LiteRT`, но интеграция токенизатора остаётся на стороне приложения. `laya-LiteRT` подходит, если удобнее передавать token IDs прямо в граф и использовать предложенный авторами Android SDK, принимая больший размер FP32-моделей. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

Практический вывод: Laya получила воспроизводимый путь локального запуска на Android, включая графы, контрольные примеры и код хоста. Но готовность runtime не равна готовности модели к конкретной бизнес-задаче — качество схемы решений и калибровку нужно проверять на собственных данных.

## Источники

1. [Laya English for LiteRT — pinned model card](https://huggingface.co/litert-community/Laya-English-LiteRT/blob/504b08d32a79100f984d65c69402c5a964a2d9d2/README.md) — получено 2026-09-22
2. [Laya Multilingual for LiteRT — pinned model card](https://huggingface.co/litert-community/Laya-Multilingual-LiteRT/blob/058cbf34ed2c6a2854ec60e9534c229d08740387/README.md) — получено 2026-09-22
3. [laya decision encoders for LiteRT — pinned model card](https://huggingface.co/litert-community/laya-LiteRT/blob/bbdc85e6f80b6d471e91b36d36d85e8b439287bc/README.md) — получено 2026-09-22
4. [Convai Innovations Laya — pinned model card](https://huggingface.co/convaiinnovations/laya/blob/1c5edc17a7acd8701df6fc341c0d179f1c62c982/README.md) — получено 2026-09-22
5. [Laya English LiteRT repository metadata](https://huggingface.co/api/models/litert-community/Laya-English-LiteRT) — получено 2026-09-22
6. [Laya Multilingual LiteRT repository metadata](https://huggingface.co/api/models/litert-community/Laya-Multilingual-LiteRT) — получено 2026-09-22