Kev-0.8B вышла в LiteRT: локальные решения на Android и Mac
На странице · 3 разделов
Сообщество выпустило конверсию Kev-0.8B для LiteRT: три готовых графа на 512, 1024 и 2048 токенов, отдельную классификационную голову и Python-хост. Это модель для типизированных решений по тексту, а не чат-генератор. Автор конверсии проверил работу на Mac и Galaxy S26; для GPU нужно явно выбрать FP32, поскольку стандартный FP16-режим давал NaN на части примеров. Замеры и совпадение с исходной моделью остаются результатами автора, не тестом Modelium.
Что выпущено
3 октября 2026 года в Hugging Face опубликована конверсия Kev-0.8B для LiteRT. Репозиторий содержит три самостоятельных TFLite-графа для строк длиной до 512, 1024 и 2048 токенов, файл классификационной головы, токенизатор, Python-хост, Android-фрагмент и скрипты воспроизведения. Все три графа и голова присутствуют в закреплённой ревизии 98fec4a5; это не просто карточка без весов. Файлы графов занимают около 1,26–1,29 млрд байт каждый на диске — это не оценка требуемой RAM или VRAM. s1 s2 s3
Kev читает текстовое состояние и вопросы к нему и возвращает вероятности для ответов noul (да/нет), choice (выбор) и score (оценка). Она не генерирует текст. Поэтому пакет имеет смысл для локальной маршрутизации обращений, классификации или принятия формализованных решений, но не заменяет разговорную LLM. Базовая Qwen3.5-0.8B-Base соединена с адаптером Kev и отдельной головой; это конверсия существующей модели, а не новая базовая модель. s1 s4 s5
Практический запуск и ограничения
Авторский Python-хост принимает формат запросов Kev, выбирает самый короткий доступный граф, вычисляет одну строку на вопрос и применяет голову отдельно. Для проверки примера после загрузки репозитория предлагается python examples/run_example.py --check; понадобятся зависимости из host/requirements-host.txt, включая ai-edge-litert==2.2.0. Можно загрузить только L512 и пропустить L1024/L2048, если длинные строки не нужны. Строки длиннее 2048 токенов хост отвергает: обрезания без уведомления нет. Это инструкция автора, а не результат исполнения команды редакцией. s1 s3
Для GPU явно включайте вычисления FP32: GpuOptions(enforce_f32=True) в Python или Precision.FP32 в Kotlin. По сообщению автора, стандартный FP16-режим дал нечисловые состояния на 18 из 393 тестовых строк как на Mac Metal, так и на Galaxy S26 OpenCL. Android-код в карточке показывает работу с графом и чтение скрытых состояний, но не является целым приложением: сборку строк и применение головы нужно реализовать отдельно. Каждый вопрос повторно обрабатывает исходное состояние; общий кэш между вопросами в этих файлах не предусмотрен. s1
Что означают опубликованные измерения
Автор сравнивал конверсию с исходным fp32 PyTorch-кодом на 392 вопросах, помещающихся в L512. Для 377 вопросов без почти равных двух лидирующих вариантов на Mac CPU, Mac GPU и Galaxy S26 GPU совпал вариант с наибольшей вероятностью; среди 15 почти равных вариантов совпали 13. Максимальная разница вероятности составила 0,0104. Это проверка соответствия конверсии исходному Kev, не измерение точности классификации на новой задаче. Отдельные таблицы автора приводят задержки на Apple M4 Max и одном Galaxy S26; переносить их на другие устройства или считать тестом Modelium нельзя. Для телефона отмечено замедление при нагреве и неполное покрытие более длинных графов. s1 s3
Веса Kev-0.8B и базовой Qwen3.5-0.8B-Base отмечены Apache-2.0; новый репозиторий содержит файл этой лицензии и NOTICE с атрибуцией. Это разрешительная лицензия на указанные артефакты, однако пользователю всё равно следует соблюдать условия уведомления и лицензии собственных данных. Отдельная лицензия тестовых SemIf-примеров — MIT. s2 s4 s5
Как выбирать: для Android-приложения, которому нужны локальные структурированные решения, начните с L512 и проверьте свои строки и FP32-режим на целевом устройстве; для более длинного текста загрузите L1024 или L2048 и измерьте задержку самостоятельно. Если нужен стек llama.cpp/GGUF вместо LiteRT, это отдельный путь с другими пакетами и ограничениями. s1
Источники
- Kev-0.8B for LiteRT: model card at revision 98fec4a5 — Первичный отчёт автора конверсии, включая условия тестов, ограничения и команды.. Получено 03.10.2026.
- Kev-0.8B LiteRT pinned repository tree and license — Манифест графов и головы; дерево API проверено с recursive=true и limit=100 (60 элементов).. Получено 03.10.2026.
- Kev-0.8B LiteRT reproduction notes — Пиннинги исходников, устройства и методика автора.. Получено 03.10.2026.
- Original Jared Palmer Kev-0.8B model. Получено 03.10.2026.
- Qwen3.5-0.8B-Base pinned revision. Получено 03.10.2026.