# GLiNER2.5-Decide в Core ML: локальная классификация на Mac без генерации токенов

Источник: https://modelium.tech/zhurnal/gliner25-decide-coreml-mac-local-classification/

24 сентября Fluid Inference опубликовала девять Core ML-пакетов GLiNER2.5-Decide для локальной классификации текста на устройствах Apple. Доступны FP16, W8 и LUT6 с тремя фиксированными длинами входа. Это конверсия существующей модели Fastino, а не новая базовая модель: она обрабатывает до четырёх наборов меток за вызов, но не экспортирует распознавание сущностей. Замеры на M5 Pro принадлежат автору конверсии, Modelium запуск не проверял.

## Что появилось

24 сентября 2026 года Fluid Inference загрузила **GLiNER2.5-Decide for Core ML**: девять готовых пакетов для классификации текста на устройствах Apple. История Hugging Face фиксирует загрузку в 20:57 UTC на ревизии `628e2fdf6eb0e7396cdd3aff30e9b01fbf6c9a67`. Это конверсия модели Fastino `GLiNER2.5-Decide`, закреплённой авторами конверсии на ревизии `65624f1a0265b3f612bae66a2685a06b94a68a9d`, **не новое обучение базовой модели** [s1](#src-s1) [s2](#src-s2).

Для каждой из точностей **FP16, W8 и LUT6** есть три фиксированных входных профиля: до 128 токенов и 8 меток на задачу, до 256 или 512 токенов и 32 меток; за вызов — до четырёх задач классификации. В HF-дереве присутствуют девять отдельных файлов весов Core ML и код для преобразования, запуска и проверки. Экспортирован только путь классификации: выделение сущностей и подсчёт, доступные в другом функционале исходного семейства GLiNER2, сюда не входят [s1](#src-s1) [s3](#src-s3).

## Зачем это для локальных моделей

Модель сопоставляет сообщение с предоставленными метками без генерации ответа: например, одновременно определяет тему обращения, срочность и маршрут тикета. Для систем обработки заявок это позволяет оставить текст и структурированное решение на устройстве. Набор меток задаётся при вызове; модель не заменяет генеративную LLM, не объясняет решение и не должна применяться как безошибочный классификатор в чувствительных сценариях [s1](#src-s1) [s2](#src-s2).

Автор предлагает скачать репозиторий целиком с `local_dir` и выполнить из него `uv sync`, затем `uv run python runtime.py --model-dir . --precision lut6 --length 256 --text "My transfer is still pending" --tasks '{"intent":["transfer_pending","transfer_cancel"],"urgency":["low","high"]}'`. Это команда из карточки, **не результат теста Modelium**. Python-обвязка использует токенизатор и форматирование схемы GLiNER2; она не загружает исходные PyTorch-веса. Автор предупреждает, что при стандартной загрузке через симлинки HF-кеша компиляция Core ML может не сработать, поэтому нужен `local_dir`. Длины и число меток ограничены выбранным профилем: превышение вызывает ошибку, а не автоматически переключает профиль [s1](#src-s1) [s3](#src-s3).

## Размеры, скорость и пределы оценки

По карточке автора 512-токенные пакеты занимают около **936 МБ FP16, 477 МБ W8 и 361 МБ LUT6**. Это размер пакетов на диске, **не минимальная потребность в RAM или unified memory**. W8 и LUT6 сжимают веса, но сами по себе не обещают ускорения [s1](#src-s1).

Автор измерил медиану 100 вызовов после 10 прогревов на **Apple M5 Pro с macOS 27.0**, `compute_units=ALL`, для запроса с тремя задачами: профиль L256 — 14,7 мс FP16, 20,6 мс W8, 17,6 мс LUT6. Это измерение одного формата запроса на конкретной машине, без независимой проверки и без гарантии скорости на другом Mac или iPhone. В карточке указан deployment target iOS 17 / macOS 14, но приведённые замеры относятся к Mac, а не к iPhone [s1](#src-s1) [s4](#src-s4).

Для сравнения точностей автор использовал **публичный development split** Fast Decisions: 17 доменов, по 100 строк в каждом, суммарно 2900 классификационных задач; для профиля L512 карточка даёт среднюю точность по доменам 62,93% у исходной PyTorch-модели и 63,03% у LUT6. Это проверка близости конверсии к исходному чекпойнту, **не новый независимый результат на закрытом test split**. В карточке датасета тестовый набор назван закрытым, а публикуемые результаты Fastino для него прямо отделены от доступного development split. Результаты могут меняться с формулировкой и составом меток [s1](#src-s1) [s5](#src-s5) [s6](#src-s6).

## Лицензия и кому пробовать

Репозиторий конверсии содержит файл **Apache License 2.0** и открытый код экспорта/запуска; метаданные закреплённого исходного чекпойнта Fastino также указывают Apache-2.0. Это не означает, что любые внешние датасеты или прикладная система автоматически получают ту же лицензию: их условия проверяются отдельно. Материал полезен разработчикам на Apple Silicon, которым нужны локальные типизированные решения по тексту и которые готовы соблюдать ограничения фиксированных Core ML-профилей [s1](#src-s1) [s2](#src-s2) [s7](#src-s7).

## Источники

1. [Fluid Inference: GLiNER2.5-Decide Core ML, карточка и пакеты, ревизия 628e2fdf](https://huggingface.co/FluidInference/gliner2-5-decide-coreml/tree/628e2fdf6eb0e7396cdd3aff30e9b01fbf6c9a67) — получено 2026-09-24
2. [Fastino: исходная GLiNER2.5-Decide, закреплённая ревизия](https://huggingface.co/fastino/GLiNER2.5-Decide/tree/65624f1a0265b3f612bae66a2685a06b94a68a9d) — получено 2026-09-24
3. [Fluid Inference: локальная обвязка Core ML runtime.py](https://huggingface.co/FluidInference/gliner2-5-decide-coreml/blob/628e2fdf6eb0e7396cdd3aff30e9b01fbf6c9a67/runtime.py) — получено 2026-09-24
4. [Fluid Inference: отчёт об авторских задержках Core ML](https://huggingface.co/FluidInference/gliner2-5-decide-coreml/blob/628e2fdf6eb0e7396cdd3aff30e9b01fbf6c9a67/reports/latency.json) — получено 2026-09-24
5. [Fluid Inference: отчёты сравнения с native PyTorch на development split](https://huggingface.co/FluidInference/gliner2-5-decide-coreml/tree/628e2fdf6eb0e7396cdd3aff30e9b01fbf6c9a67/reports) — получено 2026-09-24
6. [Fastino: Fast Decisions, карточка датасета, закреплённая ревизия](https://huggingface.co/datasets/fastino/fast-decisions/blob/1a33070cabf94ce2e29105482dd2ef6c157ad7f2/README.md) — получено 2026-09-24
7. [Fluid Inference: Apache License 2.0 пакетов и кода](https://huggingface.co/FluidInference/gliner2-5-decide-coreml/blob/628e2fdf6eb0e7396cdd3aff30e9b01fbf6c9a67/LICENSE) — получено 2026-09-24