# Kev-4B получила LiteRT-конверсию для локальных решений на Mac

Источник: https://modelium.tech/zhurnal/kev-4b-litert-desktop-local-decisions/

Для Kev-4B опубликованы три готовых LiteRT-графа на 512, 1024 и 2048 токенов, отдельная голова решений, токенизатор и Python-хост. Конверсия позволяет запускать типизированную классификацию и оценки локально на Mac, но автор проверил её только на настольном Apple M4 Max: попытка на Galaxy S26 с 12 ГБ завершилась остановкой процесса. Это не генеративная чат-модель; авторские замеры соответствия и скорости не являются тестами Modelium.

## Что изменилось

3 октября 2026 года сообщество загрузило **Kev-4B для LiteRT**: три графа для строк до 512, 1024 и 2048 токенов, отдельную pointer head, токенизатор, Python-хост, пример, контрольные данные и скрипты конверсии. Закреплённая ревизия `9f1eee58` содержит все три файла TFLite и голову; графы занимают примерно 7,8 млрд байт **на диске каждый**. Это конверсия уже существующей Kev-4B, а не новая базовая модель или новый обученный чекпойнт. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

Kev читает текстовое состояние и заданные вопросы, возвращает ответы с вероятностями для `noul` (да/нет), `choice` (выбор) и `score` (оценка); произвольный ответ текстом она не пишет. Практический сценарий — локальная маршрутизация обращений или структурированная оценка текста с контролируемыми вариантами ответа. Для каждого вопроса хост вычисляет отдельную строку, поэтому пять вопросов означают пять запусков графа. [s1](#src-s1)

## Где запускать

Автор конверсии проверял пакет на настольном Apple M4 Max с `ai-edge-litert==2.2.0`. На 392 вопросах, помещающихся в графы L512 и L1024, самый вероятный вариант совпал с исходной PyTorch-реализацией и для девяти почти равных вариантов; максимальная разница вероятности отдельного варианта составила 0,0152. Для L2048 проверены ещё девять длинных вопросов. **Это проверка согласованности конверсии с оригиналом, а не новая оценка точности на независимом наборе задач**. Замеры проведены автором, Modelium их не воспроизводил. [s1](#src-s1) [s3](#src-s3)

На том же Mac автор сообщает медиану 464 мс на один короткий вопрос для L512 на GPU Metal с явным FP32 после прогрева; CPU с восемью потоками — около 1993 мс. Компиляция GPU-графа занимала десятки секунд. При этом автор наблюдал около 21 ГБ памяти процесса после компиляции и пик около 38 ГБ на Mac GPU: это **наблюдение конкретной конфигурации**, а не универсальное минимальное требование. Попытка запустить L1024 на Galaxy S26 с 12 ГБ памяти закончилась остановкой процесса системой; CPU на телефоне не проверялся. Поэтому для мобильного сценария практичнее ранее выпущенная LiteRT-конверсия Kev-0.8B, а 4B рассматривайте как настольный вариант с предварительной проверкой ресурсов. [s1](#src-s1) [s4](#src-s4)

## Как проверить пакет самостоятельно

Загрузите закреплённую ревизию `9f1eee58ebbf3aacfaa2716732800a0ac93f65d7` из `litert-community/Kev-4B-LiteRT`, установите зависимости из `host/requirements-host.txt`, затем из корня каталога запустите `python examples/run_example.py --check`. Авторский пример использует CPU и L512; можно скачать только этот граф, не загружая два остальных. Для своего запроса Python-хост `KevLiteRT.from_dir` выбирает доступный граф по длине строки и явно отклоняет строки длиннее 2048 токенов. Это **инструкция по авторским файлам**, а не проверка исполнения на оборудовании редакции. [s1](#src-s1) [s2](#src-s2)

При запуске на GPU автор требует явный режим FP32 (`GpuOptions(enforce_f32=True)`): стандартный FP16 здесь не проверялся, а на родственном пакете Kev-0.8B давал нечисловые скрытые состояния на части строк. Android-фрагмент в репозитории компилируется, но саму 4B-модель на телефоне он не подтвердил. Не путайте наличие Kotlin-примера с успешным мобильным тестом. [s1](#src-s1)

## Права и границы вывода

Исходная Kev-4B и базовая Qwen3.5-4B-Base отмечены Apache-2.0; в конверсии лежат собственные LICENSE и NOTICE с атрибуцией, а для части тестовых записей указана отдельная MIT-лицензия. Это открытые файлы весов и кода с разрешением коммерческого использования на условиях соответствующих лицензий; лицензии сторонних наборов для воспроизведения тестов следует проверять отдельно. Проверка совпадения с оригиналом не доказывает качество маршрутизации именно на ваших документах: начните с собственного размеченного набора, оцените ошибки и сравните с более лёгкой Kev-0.8B. [s1](#src-s1) [s3](#src-s3) [s5](#src-s5) [s6](#src-s6)

## Источники

1. [Kev-4B for LiteRT, карточка закреплённой ревизии](https://huggingface.co/litert-community/Kev-4B-LiteRT/blob/9f1eee58ebbf3aacfaa2716732800a0ac93f65d7/README.md) — получено 2026-10-03
2. [Kev-4B LiteRT: дерево файлов закреплённой ревизии](https://huggingface.co/litert-community/Kev-4B-LiteRT/tree/9f1eee58ebbf3aacfaa2716732800a0ac93f65d7) — получено 2026-10-03
3. [Kev-4B LiteRT: воспроизведение конверсии и тестов](https://huggingface.co/litert-community/Kev-4B-LiteRT/blob/9f1eee58ebbf3aacfaa2716732800a0ac93f65d7/REPRODUCE.md) — получено 2026-10-03
4. [Kev-0.8B для LiteRT на Modelium](https://modelium.tech/zhurnal/kev-08b-litert-android-typed-decisions/) — получено 2026-10-03
5. [Kev-4B: исходные веса и карточка автора](https://huggingface.co/jaredpalmer/kev-4b/tree/6cfce5c2fa4b4bd64026336ab649c5ca78857d52) — получено 2026-10-03
6. [Kev-4B LiteRT: NOTICE и права компонентов](https://huggingface.co/litert-community/Kev-4B-LiteRT/blob/9f1eee58ebbf3aacfaa2716732800a0ac93f65d7/NOTICE) — получено 2026-10-03