Laya для Android: локальные decision-модели получили сборки LiteRT

Что именно стало доступно

Мультиязычный пакет с Android-примером

Laya-Multilingual-LiteRT содержит LiteRT-графы, Kotlin-хост, токенизатор и готовый пример Android-приложения. Рекомендуемый комплект для окна 256 токенов занимает 679 274 893 байта на диске: граф с float16-хранением весов, отдельная голова решения, таблица токенов, tokenizer и файл калибровки. Это размер файлов, а не заявленное требование к оперативной или видеопамяти. s2

Автор конверсии проверил конфигурацию LiteRT 2.2.0 с явным GPU FP32 на Samsung Galaxy S26. В карточке заявлены около 51 мс графового времени на вопрос и примерно 60 мс end-to-end в демонстрационном приложении при окне 256 токенов. Проверка охватывала 201 строку на английском и японском: выбор ответа совпал с официальной FP32-реализацией Laya на всех choice- и score-примерах. Это авторская валидация одной модели телефона, а не универсальный Android-бенчмарк. s2

Английский и typed-decisions

Laya-English-LiteRT включает английский чекпойнт и специализированный typed-decisions. Рекомендуемый английский набор для окна 256 токенов занимает 847 582 366 байт. На том же Galaxy S26 авторы сообщают примерно 123 мс графового времени для английского графа и 126 мс для typed-decisions. Вероятности и argmax сравнивались с официальной CPU FP32-реализацией Laya. s1

У этого пакета нет самостоятельного Android-приложения и готового Kotlin-токенизатора для английского ModernBERT: приложение должно предоставить собственные token IDs и позиции маркеров по опубликованному host contract. Если нужен наиболее законченный пример для Android, практичнее начинать с мультиязычного пакета. s1 s2

Общий пакет с token-id графами

laya-LiteRT хранит таблицу embeddings внутри графа и принимает token IDs. Такой вариант проще подключать через описанный авторами Android SDK, но FP32-файлы заметно крупнее: карточка указывает 1 287 375 376 байт для мультиязычного S256-графа и 1 684 754 688 байт для английского. Float16-хранение в этой форме не прошло компиляцию на протестированном GPU из-за разделения операций между GPU и CPU, поэтому авторы пометили соответствующие файлы как CPU-only. s3

Для каких задач это полезно

Локальная decision-модель подходит для сценариев, где ответ можно выразить фиксированной схемой:

• маршрутизация обращений по отделам;
• модерация и guardrails;
• определение намерения пользователя;
• оценка срочности или риска;
• предварительный фильтр перед более дорогой генеративной моделью;
• обработка чувствительного текста без отправки исходных данных в облачный API.

В отличие от чат-модели, Laya не формулирует объяснение и не создаёт произвольный JSON. Она вычисляет распределение вероятностей по вариантам, заданным приложением. Это снижает сложность парсинга, но не устраняет ошибки классификации. s4

Ограничения, которые нельзя пропускать

Публикация LiteRT прежде всего подтверждает техническое совпадение конверсии с исходной моделью, а не качество решений на новой предметной области. Карточка мультиязычного пакета прямо отмечает ошибочные ответы исходной Laya на части японских примеров. В общем пакете авторы получили точность 0,59 для мультиязычной и 0,61 для английской модели на отдельном публичном трёхвариантном наборе. s2 s3

Исходная карточка Laya также предупреждает, что базовые чекпойнты на тесте typed-decisions близки к случайному уровню. Результат 0,766 относится к специализированному чекпойнту, дообученному на тренировочной части того же набора. Поэтому перед production-внедрением нужны собственные данные, проверка формулировок вопросов и повторная калибровка вероятностей. Все численные результаты здесь являются измерениями авторов моделей и конверсии; Modelium их независимо не воспроизводил. s4

Дополнительные границы текущего выпуска:

• проверен один Samsung Galaxy S26 и только явный режим GPU FP32;
• INT8 и NPU не оценивались;
• другие Android GPU и тепловые режимы не проверены;
• вопросы более чем с 20 вариантами выходят за пределы Android-валидации;
• окна фиксированы на 256 или 512 токенов, длинное состояние обрезается;
• показатели скорости нельзя переносить на другие устройства без отдельного теста. s1 s2 s3

Какой пакет выбрать

Для первого мобильного прототипа лучше использовать Laya-Multilingual-LiteRT: в нём есть Android-пример, Kotlin-токенизатор и проверенный комплект файлов. Для английских сценариев с ModernBERT или специализированного typed-decisions нужен Laya-English-LiteRT, но интеграция токенизатора остаётся на стороне приложения. laya-LiteRT подходит, если удобнее передавать token IDs прямо в граф и использовать предложенный авторами Android SDK, принимая больший размер FP32-моделей. s1 s2 s3

Практический вывод: Laya получила воспроизводимый путь локального запуска на Android, включая графы, контрольные примеры и код хоста. Но готовность runtime не равна готовности модели к конкретной бизнес-задаче — качество схемы решений и калибровку нужно проверять на собственных данных.