# Kev-0.8B вышла в LiteRT: локальные решения на Android и Mac

Источник: https://modelium.tech/zhurnal/kev-08b-litert-android-typed-decisions/

Сообщество выпустило конверсию Kev-0.8B для LiteRT: три готовых графа на 512, 1024 и 2048 токенов, отдельную классификационную голову и Python-хост. Это модель для типизированных решений по тексту, а не чат-генератор. Автор конверсии проверил работу на Mac и Galaxy S26; для GPU нужно явно выбрать FP32, поскольку стандартный FP16-режим давал NaN на части примеров. Замеры и совпадение с исходной моделью остаются результатами автора, не тестом Modelium.

## Что выпущено

3 октября 2026 года в Hugging Face опубликована конверсия **Kev-0.8B для LiteRT**. Репозиторий содержит три самостоятельных TFLite-графа для строк длиной до 512, 1024 и 2048 токенов, файл классификационной головы, токенизатор, Python-хост, Android-фрагмент и скрипты воспроизведения. Все три графа и голова присутствуют в закреплённой ревизии `98fec4a5`; это не просто карточка без весов. Файлы графов занимают около 1,26–1,29 млрд байт каждый **на диске** — это не оценка требуемой RAM или VRAM. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

Kev читает текстовое состояние и вопросы к нему и возвращает вероятности для ответов `noul` (да/нет), `choice` (выбор) и `score` (оценка). Она не генерирует текст. Поэтому пакет имеет смысл для локальной маршрутизации обращений, классификации или принятия формализованных решений, но не заменяет разговорную LLM. Базовая Qwen3.5-0.8B-Base соединена с адаптером Kev и отдельной головой; это **конверсия существующей модели**, а не новая базовая модель. [s1](#src-s1) [s4](#src-s4) [s5](#src-s5)

## Практический запуск и ограничения

Авторский Python-хост принимает формат запросов Kev, выбирает самый короткий доступный граф, вычисляет одну строку на вопрос и применяет голову отдельно. Для проверки примера после загрузки репозитория предлагается `python examples/run_example.py --check`; понадобятся зависимости из `host/requirements-host.txt`, включая `ai-edge-litert==2.2.0`. Можно загрузить только L512 и пропустить L1024/L2048, если длинные строки не нужны. Строки длиннее 2048 токенов хост отвергает: обрезания без уведомления нет. Это инструкция автора, а не результат исполнения команды редакцией. [s1](#src-s1) [s3](#src-s3)

Для GPU **явно включайте вычисления FP32**: `GpuOptions(enforce_f32=True)` в Python или `Precision.FP32` в Kotlin. По сообщению автора, стандартный FP16-режим дал нечисловые состояния на 18 из 393 тестовых строк как на Mac Metal, так и на Galaxy S26 OpenCL. Android-код в карточке показывает работу с графом и чтение скрытых состояний, но **не является целым приложением**: сборку строк и применение головы нужно реализовать отдельно. Каждый вопрос повторно обрабатывает исходное состояние; общий кэш между вопросами в этих файлах не предусмотрен. [s1](#src-s1)

## Что означают опубликованные измерения

Автор сравнивал конверсию с исходным fp32 PyTorch-кодом на 392 вопросах, помещающихся в L512. Для 377 вопросов без почти равных двух лидирующих вариантов на Mac CPU, Mac GPU и Galaxy S26 GPU совпал вариант с наибольшей вероятностью; среди 15 почти равных вариантов совпали 13. Максимальная разница вероятности составила 0,0104. Это **проверка соответствия конверсии исходному Kev**, не измерение точности классификации на новой задаче. Отдельные таблицы автора приводят задержки на Apple M4 Max и одном Galaxy S26; переносить их на другие устройства или считать тестом Modelium нельзя. Для телефона отмечено замедление при нагреве и неполное покрытие более длинных графов. [s1](#src-s1) [s3](#src-s3)

Веса Kev-0.8B и базовой Qwen3.5-0.8B-Base отмечены Apache-2.0; новый репозиторий содержит файл этой лицензии и NOTICE с атрибуцией. Это разрешительная лицензия на указанные артефакты, однако пользователю всё равно следует соблюдать условия уведомления и лицензии собственных данных. Отдельная лицензия тестовых SemIf-примеров — MIT. [s2](#src-s2) [s4](#src-s4) [s5](#src-s5)

**Как выбирать:** для Android-приложения, которому нужны локальные структурированные решения, начните с L512 и проверьте свои строки и FP32-режим на целевом устройстве; для более длинного текста загрузите L1024 или L2048 и измерьте задержку самостоятельно. Если нужен стек llama.cpp/GGUF вместо LiteRT, это отдельный путь с другими пакетами и ограничениями. [s1](#src-s1)

## Источники

1. [Kev-0.8B for LiteRT: model card at revision 98fec4a5](https://huggingface.co/litert-community/Kev-0.8B-LiteRT/blob/98fec4a5828c7f31b1ffd062f738f5c8a1e4ab8d/README.md) — получено 2026-10-03
2. [Kev-0.8B LiteRT pinned repository tree and license](https://huggingface.co/litert-community/Kev-0.8B-LiteRT/tree/98fec4a5828c7f31b1ffd062f738f5c8a1e4ab8d) — получено 2026-10-03
3. [Kev-0.8B LiteRT reproduction notes](https://huggingface.co/litert-community/Kev-0.8B-LiteRT/blob/98fec4a5828c7f31b1ffd062f738f5c8a1e4ab8d/REPRODUCE.md) — получено 2026-10-03
4. [Original Jared Palmer Kev-0.8B model](https://huggingface.co/jaredpalmer/kev-0.8b/tree/bf75a6a8848ea6960ff2ed108d9ed44c2941174f) — получено 2026-10-03
5. [Qwen3.5-0.8B-Base pinned revision](https://huggingface.co/Qwen/Qwen3.5-0.8B-Base/tree/dc7cdfe2ee4154fa7e30f5b51ca41bfa40174e68) — получено 2026-10-03