# GLiNER2.5-Decide 340M: локальная маршрутизация текста на CPU или GPU

Источник: https://modelium.tech/zhurnal/gliner25-decide-340m-local-cpu-classification/

Fastino загрузила веса GLiNER2.5-Decide 340M 23 сентября и обновила чекпойнт 24 сентября 2026 года. Модель классифицирует английский текст по переданным при вызове меткам, в том числе одновременно по нескольким задачам; автор предлагает запуск через gliner2 на CPU или GPU. Заявленные 60,2% exact match получены в авторском тесте, закрытая тестовая выборка не позволяет независимо воспроизвести число по опубликованным данным.

## Что вышло и чем отличается от LLM

23 сентября 2026 года Fastino загрузила веса **GLiNER2.5-Decide**, а 24 сентября заменила исходный чекпойнт шага 95500 на чекпойнт шага 126500. Нынешнюю статью привязываем к ревизии `7ee5da4c2415e32259bcdc0b1a7367c32ce8d6f6`: в дереве есть `model.safetensors` (1 945 828 140 байт), конфигурация и токенизатор. Хеш LFS файла текущей ревизии отличается от первоначальной загрузки, то есть это не только правка карточки. Размер файла **не означает** минимальный объём RAM или VRAM [s1](#src-s1) [s2](#src-s2).

Это англоязычный классификатор на энкодере DeBERTa-v3-large; карточка называет 340 млн параметров. Наборы меток можно менять при вызове: например, отдельно определить намерение клиента, срочность и очередь обработки. Модель возвращает метки, а не развёрнутые ответы или объяснения. Для локального сервиса это способ направлять обращения и документы без отправки текста во внешний API; качество на собственных формулировках надо проверять до автоматических действий [s1](#src-s1).

## Как запустить

В карточке Fastino приведён путь через пакет `gliner2`, который, по заявлению автора, работает с этой моделью на CPU или GPU. Команды ниже взяты из документации, **Modelium не проводил тест запуска**:

pip install gliner2

from gliner2 import AutoExtractormodel = AutoExtractor.from_pretrained("fastino/GLiNER2.5-Decide")result = model.classify_text(    "Please refund my duplicate subscription charge",    {        "intent": ["refund", "cancel", "technical_support"],        "route": ["billing", "support"],    },)print(result)

Для воспроизводимого развёртывания закрепите ревизию весов, проверьте версию установленной библиотеки и измерьте точность на своих категориях. Отдельных авторских чисел задержки для CPU и минимальной аппаратной конфигурации карточка не даёт; объём файла нельзя использовать вместо такого замера [s1](#src-s1) [s3](#src-s3).

## Как читать оценки и лицензию

Fastino заявляет **60,2% exact-match accuracy** в среднем по 17 англоязычным доменам по 300 отложенных примеров на домен. В открытом датасете Fast Decisions размещена только development-часть — по 100 примеров на домен, всего 1700. Тестовая часть закрыта, поэтому по открытым файлам нельзя независимо подтвердить авторский результат или корректность сравнений. Это **оценка автора**, а не тест Modelium; она не обещает такой же точности в русскоязычных обращениях [s1](#src-s1) [s4](#src-s4).

В метаданных весов указана **Apache-2.0**; у библиотеки GLiNER2 есть отдельный текст лицензии Apache-2.0. В дереве конкретного репозитория модели отдельного файла LICENSE нет: при коммерческом внедрении проверьте права на чекпойнт и зависимости самостоятельно. Доступность весов, открытый код библиотеки и результат бенчмарка — разные свойства [s1](#src-s1) [s3](#src-s3).

У Modelium уже есть материал о **Core ML-конверсии этой модели для Mac**. Здесь речь об исходном пакете Fastino и Python-пути запуска, а не о девяти экспортированных Core ML-вариантах [s5](#src-s5).

## Источники

1. [Fastino: GLiNER2.5-Decide, модельная карточка и файлы, ревизия 7ee5da4c](https://huggingface.co/fastino/GLiNER2.5-Decide/tree/7ee5da4c2415e32259bcdc0b1a7367c32ce8d6f6) — получено 2026-09-26
2. [Fastino: история коммитов и смена файла весов GLiNER2.5-Decide](https://huggingface.co/api/models/fastino/GLiNER2.5-Decide/commits/main) — получено 2026-09-26
3. [Fastino: исходный код и лицензия GLiNER2](https://github.com/fastino-ai/GLiNER2/blob/main/LICENSE) — получено 2026-09-26
4. [Fastino: Fast Decisions, описание доступной и закрытой выборки](https://huggingface.co/datasets/fastino/fast-decisions/blob/1a33070cabf94ce2e29105482dd2ef6c157ad7f2/README.md) — получено 2026-09-26
5. [Modelium: GLiNER2.5-Decide в Core ML на Mac](https://modelium.tech/zhurnal/gliner25-decide-coreml-mac-local-classification/) — получено 2026-09-26