JSBAI-Coder-4B: новые веса для локального кодового агента и NVFP4-вариант

Что доступно для локального запуска

Основной репозиторий содержит один BF16-файл весов, конфигурацию, токенизатор и отдельную MTP-голову. Метаданные HF показывают 4 205 751 296 параметров BF16; размер основного файла при загрузке — 8 411 552 008 байт. Во втором репозитории лежит самостоятельный NVFP4-чекпойнт; его конфигурация указывает modelopt, 4-битные веса и активации с группой 16, но список исключений означает, что не все слои приведены к FP4. Размер файла — 5 155 754 296 байт. Это размеры файлов, не минимальные требования к RAM или VRAM: рабочая память зависит также от контекста, KV-кеша, batch size и реализации runtime. s1 s2 s5

Карточки обеих моделей помечены Apache 2.0, а исходный Qwen3.5-4B содержит текст этой лицензии. Отдельного файла LICENSE в снимках репозиториев JSBAI нет: условия для этих весов заявлены авторами в metadata и карточке. Apache 2.0 допускает коммерческое применение при соблюдении условий лицензии; наличие открытых весов само по себе не заменяет проверку происхождения компонентов и ваших обязанностей при распространении. s1 s2 s6

Как попробовать

Авторы приводят пример загрузки основного чекпойнта в vLLM:

from vllm import LLM
llm = LLM(model="jsbaicenter/JSBAI-Coder-4B", max_model_len=131072)

Для NVFP4 они указывают LLM(model="jsbaicenter/JSBAI-Coder-4B-NVFP4", quantization="modelopt", max_model_len=131072). Рекомендуемые настройки в карточке: temperature=1.0, top_p=0.95, reasoning parser qwen3 и формат вызова инструментов qwen3_coder. Указанная длина 131 072 токена — параметр авторского примера, а не гарантия, что любая видеокарта выдержит такой контекст. NVFP4 требует совместимого стека и оборудования; универсальную совместимость с ноутбуками из названия модели выводить нельзя. Команды приведены из документации авторов и не были протестированы Modelium. s1 s2 s5

Что известно о качестве — и что нет

Карточка заявляет 82,9% против 10,1% у базовой модели на 121 отложенной задаче исправления ошибок. На другом авторском наборе Live-60 результат BF16 — 21,7% против 15,0% у базы; Terminal-Bench 1.0 — 33,8% у обеих. Эти цифры относятся к разным наборам задач, поэтому 82,9% нельзя выдавать за общую долю успешных исправлений в произвольном репозитории. Полный технический отчёт в карточке ещё обещан, а независимой репликации здесь нет. s1

Авторы сами показывают существенный компромисс квантования: у NVFP4 на 32 выбранных задачах их теста успешность составляет 12/32 (около 38%), Live-60 — 15,0%, Terminal-Bench 1.0 — 18,8%. Показатель 12/32 получен на подвыборке, его нельзя напрямую сравнивать с 82,9% BF16 на полном наборе 121 задач без одинакового протокола. Если нужна высокая надёжность правок, сначала сравните обе версии на своих репозиториях в изолированном контейнере, проверяя диффы и запуская тесты до применения изменений. s1 s2

Вывод: это доступные для скачивания локальные веса для эксперимента с небольшим кодовым агентом, а не подтверждённая замена большим моделям на реальных проектах. Выбор BF16 или NVFP4 следует делать по качеству на вашей задаче и реальной совместимости оборудования, не по одному размеру файла. s1 s2