GLiNER2.5-Decide 340M: локальная маршрутизация текста на CPU или GPU
На странице · 3 разделов
Fastino загрузила веса GLiNER2.5-Decide 340M 23 сентября и обновила чекпойнт 24 сентября 2026 года. Модель классифицирует английский текст по переданным при вызове меткам, в том числе одновременно по нескольким задачам; автор предлагает запуск через gliner2 на CPU или GPU. Заявленные 60,2% exact match получены в авторском тесте, закрытая тестовая выборка не позволяет независимо воспроизвести число по опубликованным данным.
Что вышло и чем отличается от LLM
23 сентября 2026 года Fastino загрузила веса GLiNER2.5-Decide, а 24 сентября заменила исходный чекпойнт шага 95500 на чекпойнт шага 126500. Нынешнюю статью привязываем к ревизии 7ee5da4c2415e32259bcdc0b1a7367c32ce8d6f6: в дереве есть model.safetensors (1 945 828 140 байт), конфигурация и токенизатор. Хеш LFS файла текущей ревизии отличается от первоначальной загрузки, то есть это не только правка карточки. Размер файла не означает минимальный объём RAM или VRAM s1 s2.
Это англоязычный классификатор на энкодере DeBERTa-v3-large; карточка называет 340 млн параметров. Наборы меток можно менять при вызове: например, отдельно определить намерение клиента, срочность и очередь обработки. Модель возвращает метки, а не развёрнутые ответы или объяснения. Для локального сервиса это способ направлять обращения и документы без отправки текста во внешний API; качество на собственных формулировках надо проверять до автоматических действий s1.
Как запустить
В карточке Fastino приведён путь через пакет gliner2, который, по заявлению автора, работает с этой моделью на CPU или GPU. Команды ниже взяты из документации, Modelium не проводил тест запуска:
pip install gliner2
from gliner2 import AutoExtractor
model = AutoExtractor.from_pretrained("fastino/GLiNER2.5-Decide")
result = model.classify_text(
"Please refund my duplicate subscription charge",
{
"intent": ["refund", "cancel", "technical_support"],
"route": ["billing", "support"],
},
)
print(result)
Для воспроизводимого развёртывания закрепите ревизию весов, проверьте версию установленной библиотеки и измерьте точность на своих категориях. Отдельных авторских чисел задержки для CPU и минимальной аппаратной конфигурации карточка не даёт; объём файла нельзя использовать вместо такого замера s1 s3.
Как читать оценки и лицензию
Fastino заявляет 60,2% exact-match accuracy в среднем по 17 англоязычным доменам по 300 отложенных примеров на домен. В открытом датасете Fast Decisions размещена только development-часть — по 100 примеров на домен, всего 1700. Тестовая часть закрыта, поэтому по открытым файлам нельзя независимо подтвердить авторский результат или корректность сравнений. Это оценка автора, а не тест Modelium; она не обещает такой же точности в русскоязычных обращениях s1 s4.
В метаданных весов указана Apache-2.0; у библиотеки GLiNER2 есть отдельный текст лицензии Apache-2.0. В дереве конкретного репозитория модели отдельного файла LICENSE нет: при коммерческом внедрении проверьте права на чекпойнт и зависимости самостоятельно. Доступность весов, открытый код библиотеки и результат бенчмарка — разные свойства s1 s3.
У Modelium уже есть материал о Core ML-конверсии этой модели для Mac. Здесь речь об исходном пакете Fastino и Python-пути запуска, а не о девяти экспортированных Core ML-вариантах s5.
Источники
- Fastino: GLiNER2.5-Decide, модельная карточка и файлы, ревизия 7ee5da4c — Проверены Safetensors, конфигурация, карточка, маркировка Apache-2.0 и пример classify_text.. Получено 26.09.2026.
- Fastino: история коммитов и смена файла весов GLiNER2.5-Decide — 23.09 загружен step 95500, 24.09 — step 126500; LFS-хеш весов до/после сверялся с HF tree API.. Получено 26.09.2026.
- Fastino: исходный код и лицензия GLiNER2 — Apache-2.0 для библиотеки; отдельного LICENSE-файла в HF-дереве чекпойнта нет.. Получено 26.09.2026.
- Fastino: Fast Decisions, описание доступной и закрытой выборки — В открытом development split 100 примеров на домен, held-out test 300 на домен не опубликован; 60,2% — авторское число.. Получено 26.09.2026.
- Modelium: GLiNER2.5-Decide в Core ML на Mac — Существующая публикация о другой поставке этого семейства — Core ML-конверсии.. Получено 26.09.2026.