Falconsai выпустила falconsproof v2: локальный выбор ответа на ModernBERT

Что действительно новое

По сравнению с прежним proof_V_1 авторы перешли с DistilBERT на ModernBERT-base, добавили общую listwise-голову и три специализированные — для обращений в поддержку, языка программирования и проверки логического следования. Репозиторий содержит encoder/model.safetensors, heads.safetensors, конфигурацию, собственный Python-код для инференса и JSON-отчёт. Установленный авторами предел входа — 384 токена для пары текст/вариант, хотя исходная архитектура ModernBERT допускает более длинный ввод; не путайте эти пределы. s1 s3

Важное ограничение: все три гейта специалистов в опубликованной конфигурации имеют пороги 1,01 и закрыты. Поэтому штатные ответы и приведённые авторские тесты принадлежат общей голове, а не системе с работающим маршрутизатором специалистов. Настраивать пороги вручную можно лишь после проверки на своих размеченных данных. s1 s3 s4

Где применить — и где нельзя

Практический сценарий: локально распределять обращения между отделами, выбирать категорию документа или ранжировать несколько заранее заданных действий агента. В отличие от удалённого API, текст можно обрабатывать в собственном контуре; производительность на конкретном CPU или GPU Modelium не измерял. Если правильного варианта может не быть в списке, добавляйте «ни один из перечисленных»: модель всё равно выберет один из предложенных пунктов. Код модели из репозитория следует изучить перед исполнением в доверенном окружении. s1

По авторскому отчёту: на 5 096 тестовых решениях точность составила 81,3% при неоднородном наборе задач; для Bitext-маршрутизации — 95,8% на 120 примерах, для ранее не использованного в обучении Banking77 — 88,3% на 120. Но тест поиска уязвимостей Devign дал 54,2%, поиск клонов BigCloneBench — 38,3%, а GSM8K — 27,5%. Не используйте чекпойнт для подтверждения безопасности кода или арифметических решений. Выборка в основном англоязычная и насыщена задачами о коде, поэтому переносимость результатов на русскоязычную поддержку не доказана. Это результаты авторов, не независимое тестирование Modelium. s1 s4

В отчёте указан один запуск с пресетом small, seed 42 и одной эпохой на каждом этапе; для обучения авторы использовали NVIDIA GeForce RTX 5090 Laptop GPU. Это конфигурация авторского обучения, а не минимальное требование для инференса. Сравнение с v1 в карточке сделано по разным случайным тестовым выборкам, поэтому из него нельзя напрямую вычислять прирост качества на одном и том же наборе. s1 s4

Как запустить локально

Карточка предлагает установить torch, transformers>=4.48,<5, safetensors, huggingface_hub и numpy, скачать закреплённую ревизию и загрузить модуль falconsproof_modeling.py. Поскольку используется загружаемый Python-код, предварительно проверьте его в репозитории. Минимальный пример по интерфейсу автора:

import importlib.util
from huggingface_hub import snapshot_download

path = snapshot_download('Falconsai/proof_v2', revision='c57d05a130f068f156423cc49f4424bc0fa74ef0')
spec = importlib.util.spec_from_file_location('falconsproof_modeling', f'{path}/falconsproof_modeling.py')
fpm = importlib.util.module_from_spec(spec)
spec.loader.exec_module(fpm)
model, tokenizer = fpm.FalconsProof.load(path)
result = fpm.decide(model, tokenizer, state='I forgot my password', questions=[
{'question': 'Which team should handle this?', 'options': ['account recovery', 'shipping', 'billing']}
])
print(result['results'][0]['choice'])

По карточке загрузчик выбирает CUDA, если она есть, иначе CPU; скачивание полного пакета и реальный прогон этого примера редакция не выполняла. Веса энкодера занимают около 596 МБ на диске, файл голов — около 9,5 МБ; эти цифры не равны потреблению RAM/VRAM. s1 s5

Лицензия и ограничения

Метаданные и карточка производного чекпойнта указывают Apache 2.0 для весов и кода; исходный answerdotai/ModernBERT-base тоже помечен Apache 2.0. Отдельного файла LICENSE в дереве производного репозитория на момент проверки нет, а авторы рекомендуют отдельно изучить лицензии учителей и обучающих датасетов перед перераспространением производных данных. Apache 2.0 допускает коммерческое применение при соблюдении её условий, но это не означает, что все связанные датасеты и учителя переданы на тех же условиях. s1 s5 s6

Вывод: для локального выбора из небольшого числа заданных действий это проверяемый стартовый чекпойнт с опубликованным отчётом. Для production-маршрутизации сначала измерьте качество и калибровку на собственных сообщениях, особенно на русском; закрытые гейты и слабые результаты на части задач нельзя скрывать за общей точностью.