Kev-4B получила LiteRT-конверсию для локальных решений на Mac
На странице · 4 разделов
Для Kev-4B опубликованы три готовых LiteRT-графа на 512, 1024 и 2048 токенов, отдельная голова решений, токенизатор и Python-хост. Конверсия позволяет запускать типизированную классификацию и оценки локально на Mac, но автор проверил её только на настольном Apple M4 Max: попытка на Galaxy S26 с 12 ГБ завершилась остановкой процесса. Это не генеративная чат-модель; авторские замеры соответствия и скорости не являются тестами Modelium.
Что изменилось
3 октября 2026 года сообщество загрузило Kev-4B для LiteRT: три графа для строк до 512, 1024 и 2048 токенов, отдельную pointer head, токенизатор, Python-хост, пример, контрольные данные и скрипты конверсии. Закреплённая ревизия 9f1eee58 содержит все три файла TFLite и голову; графы занимают примерно 7,8 млрд байт на диске каждый. Это конверсия уже существующей Kev-4B, а не новая базовая модель или новый обученный чекпойнт. s1 s2 s3
Kev читает текстовое состояние и заданные вопросы, возвращает ответы с вероятностями для noul (да/нет), choice (выбор) и score (оценка); произвольный ответ текстом она не пишет. Практический сценарий — локальная маршрутизация обращений или структурированная оценка текста с контролируемыми вариантами ответа. Для каждого вопроса хост вычисляет отдельную строку, поэтому пять вопросов означают пять запусков графа. s1
Где запускать
Автор конверсии проверял пакет на настольном Apple M4 Max с ai-edge-litert==2.2.0. На 392 вопросах, помещающихся в графы L512 и L1024, самый вероятный вариант совпал с исходной PyTorch-реализацией и для девяти почти равных вариантов; максимальная разница вероятности отдельного варианта составила 0,0152. Для L2048 проверены ещё девять длинных вопросов. Это проверка согласованности конверсии с оригиналом, а не новая оценка точности на независимом наборе задач. Замеры проведены автором, Modelium их не воспроизводил. s1 s3
На том же Mac автор сообщает медиану 464 мс на один короткий вопрос для L512 на GPU Metal с явным FP32 после прогрева; CPU с восемью потоками — около 1993 мс. Компиляция GPU-графа занимала десятки секунд. При этом автор наблюдал около 21 ГБ памяти процесса после компиляции и пик около 38 ГБ на Mac GPU: это наблюдение конкретной конфигурации, а не универсальное минимальное требование. Попытка запустить L1024 на Galaxy S26 с 12 ГБ памяти закончилась остановкой процесса системой; CPU на телефоне не проверялся. Поэтому для мобильного сценария практичнее ранее выпущенная LiteRT-конверсия Kev-0.8B, а 4B рассматривайте как настольный вариант с предварительной проверкой ресурсов. s1 s4
Как проверить пакет самостоятельно
Загрузите закреплённую ревизию 9f1eee58ebbf3aacfaa2716732800a0ac93f65d7 из litert-community/Kev-4B-LiteRT, установите зависимости из host/requirements-host.txt, затем из корня каталога запустите python examples/run_example.py --check. Авторский пример использует CPU и L512; можно скачать только этот граф, не загружая два остальных. Для своего запроса Python-хост KevLiteRT.from_dir выбирает доступный граф по длине строки и явно отклоняет строки длиннее 2048 токенов. Это инструкция по авторским файлам, а не проверка исполнения на оборудовании редакции. s1 s2
При запуске на GPU автор требует явный режим FP32 (GpuOptions(enforce_f32=True)): стандартный FP16 здесь не проверялся, а на родственном пакете Kev-0.8B давал нечисловые скрытые состояния на части строк. Android-фрагмент в репозитории компилируется, но саму 4B-модель на телефоне он не подтвердил. Не путайте наличие Kotlin-примера с успешным мобильным тестом. s1
Права и границы вывода
Исходная Kev-4B и базовая Qwen3.5-4B-Base отмечены Apache-2.0; в конверсии лежат собственные LICENSE и NOTICE с атрибуцией, а для части тестовых записей указана отдельная MIT-лицензия. Это открытые файлы весов и кода с разрешением коммерческого использования на условиях соответствующих лицензий; лицензии сторонних наборов для воспроизведения тестов следует проверять отдельно. Проверка совпадения с оригиналом не доказывает качество маршрутизации именно на ваших документах: начните с собственного размеченного набора, оцените ошибки и сравните с более лёгкой Kev-0.8B. s1 s3 s5 s6
Источники
- Kev-4B for LiteRT, карточка закреплённой ревизии — Описание состава, команд, авторских замеров и ограничений устройств.. Получено 03.10.2026.
- Kev-4B LiteRT: дерево файлов закреплённой ревизии — Проверены все 60 элементов через recursive tree с limit=200 и HF API siblings; три графа и голова присутствуют.. Получено 03.10.2026.
- Kev-4B LiteRT: воспроизведение конверсии и тестов. Получено 03.10.2026.
- Kev-0.8B для LiteRT на Modelium. Получено 03.10.2026.
- Kev-4B: исходные веса и карточка автора. Получено 03.10.2026.
- Kev-4B LiteRT: NOTICE и права компонентов. Получено 03.10.2026.