GLiNER2.5-Decide в Core ML: локальная классификация на Mac без генерации токенов
На странице · 4 разделов
24 сентября Fluid Inference опубликовала девять Core ML-пакетов GLiNER2.5-Decide для локальной классификации текста на устройствах Apple. Доступны FP16, W8 и LUT6 с тремя фиксированными длинами входа. Это конверсия существующей модели Fastino, а не новая базовая модель: она обрабатывает до четырёх наборов меток за вызов, но не экспортирует распознавание сущностей. Замеры на M5 Pro принадлежат автору конверсии, Modelium запуск не проверял.
Что появилось
24 сентября 2026 года Fluid Inference загрузила GLiNER2.5-Decide for Core ML: девять готовых пакетов для классификации текста на устройствах Apple. История Hugging Face фиксирует загрузку в 20:57 UTC на ревизии 628e2fdf6eb0e7396cdd3aff30e9b01fbf6c9a67. Это конверсия модели Fastino GLiNER2.5-Decide, закреплённой авторами конверсии на ревизии 65624f1a0265b3f612bae66a2685a06b94a68a9d, не новое обучение базовой модели s1 s2.
Для каждой из точностей FP16, W8 и LUT6 есть три фиксированных входных профиля: до 128 токенов и 8 меток на задачу, до 256 или 512 токенов и 32 меток; за вызов — до четырёх задач классификации. В HF-дереве присутствуют девять отдельных файлов весов Core ML и код для преобразования, запуска и проверки. Экспортирован только путь классификации: выделение сущностей и подсчёт, доступные в другом функционале исходного семейства GLiNER2, сюда не входят s1 s3.
Зачем это для локальных моделей
Модель сопоставляет сообщение с предоставленными метками без генерации ответа: например, одновременно определяет тему обращения, срочность и маршрут тикета. Для систем обработки заявок это позволяет оставить текст и структурированное решение на устройстве. Набор меток задаётся при вызове; модель не заменяет генеративную LLM, не объясняет решение и не должна применяться как безошибочный классификатор в чувствительных сценариях s1 s2.
Автор предлагает скачать репозиторий целиком с local_dir и выполнить из него uv sync, затем uv run python runtime.py --model-dir . --precision lut6 --length 256 --text "My transfer is still pending" --tasks '{"intent":["transfer_pending","transfer_cancel"],"urgency":["low","high"]}'. Это команда из карточки, не результат теста Modelium. Python-обвязка использует токенизатор и форматирование схемы GLiNER2; она не загружает исходные PyTorch-веса. Автор предупреждает, что при стандартной загрузке через симлинки HF-кеша компиляция Core ML может не сработать, поэтому нужен local_dir. Длины и число меток ограничены выбранным профилем: превышение вызывает ошибку, а не автоматически переключает профиль s1 s3.
Размеры, скорость и пределы оценки
По карточке автора 512-токенные пакеты занимают около 936 МБ FP16, 477 МБ W8 и 361 МБ LUT6. Это размер пакетов на диске, не минимальная потребность в RAM или unified memory. W8 и LUT6 сжимают веса, но сами по себе не обещают ускорения s1.
Автор измерил медиану 100 вызовов после 10 прогревов на Apple M5 Pro с macOS 27.0, compute_units=ALL, для запроса с тремя задачами: профиль L256 — 14,7 мс FP16, 20,6 мс W8, 17,6 мс LUT6. Это измерение одного формата запроса на конкретной машине, без независимой проверки и без гарантии скорости на другом Mac или iPhone. В карточке указан deployment target iOS 17 / macOS 14, но приведённые замеры относятся к Mac, а не к iPhone s1 s4.
Для сравнения точностей автор использовал публичный development split Fast Decisions: 17 доменов, по 100 строк в каждом, суммарно 2900 классификационных задач; для профиля L512 карточка даёт среднюю точность по доменам 62,93% у исходной PyTorch-модели и 63,03% у LUT6. Это проверка близости конверсии к исходному чекпойнту, не новый независимый результат на закрытом test split. В карточке датасета тестовый набор назван закрытым, а публикуемые результаты Fastino для него прямо отделены от доступного development split. Результаты могут меняться с формулировкой и составом меток s1 s5 s6.
Лицензия и кому пробовать
Репозиторий конверсии содержит файл Apache License 2.0 и открытый код экспорта/запуска; метаданные закреплённого исходного чекпойнта Fastino также указывают Apache-2.0. Это не означает, что любые внешние датасеты или прикладная система автоматически получают ту же лицензию: их условия проверяются отдельно. Материал полезен разработчикам на Apple Silicon, которым нужны локальные типизированные решения по тексту и которые готовы соблюдать ограничения фиксированных Core ML-профилей s1 s2 s7.
Источники
- Fluid Inference: GLiNER2.5-Decide Core ML, карточка и пакеты, ревизия 628e2fdf — HF API, обе страницы дерева и история коммитов; девять пакетов весов и дата загрузки проверены.. Получено 24.09.2026.
- Fastino: исходная GLiNER2.5-Decide, закреплённая ревизия — Карточка и HF API исходной модели; в метаданных лицензия Apache-2.0.. Получено 24.09.2026.
- Fluid Inference: локальная обвязка Core ML runtime.py — Проверены варианты профилей, загрузка пакета, декодирование задач и обработка лимитов.. Получено 24.09.2026.
- Fluid Inference: отчёт об авторских задержках Core ML — M5 Pro, macOS 27.0, p50/p95; это замеры автора конверсии, не независимый тест.. Получено 24.09.2026.
- Fluid Inference: отчёты сравнения с native PyTorch на development split — Сверены fast-decisions-native.json и fast-decisions-coreml-lut6-L512-all.json.. Получено 24.09.2026.
- Fastino: Fast Decisions, карточка датасета, закреплённая ревизия — 1700 строк development split; закрытый тестовый набор и методика отделены от открытых данных.. Получено 24.09.2026.
- Fluid Inference: Apache License 2.0 пакетов и кода — Полный текст лицензии присутствует в дереве конверсии.. Получено 24.09.2026.