JEV-35B NVFP4: локальная модель для выбора из вариантов

Что появилось и зачем нужен второй пакет

Базовая JEV-35B основана на Qwen3.5-35B-A3B. Вариант NVFP4 уменьшает точность чисел у части весов — файлов, из которых собирается работающая модель, — чтобы сократить объём пакета. Это не новая модель, обученная с нуля: оба варианта относятся к одному выпуску. Репозиторий базы создан 11 октября в 01:22 UTC, вариант NVFP4 — в 03:05 UTC. Время создания репозитория не доказывает точное время объявления автора. s1s2s3

В закреплённой версии NVFP4 доступны все 14 файлов весов, которые перечислены в индексе модели, а также модуль для выбора ответа, конфигурация и программа запуска. По данным автора, загрузка весов составляет 25,6 ГБ против 71,9 ГБ у базового варианта. Размер загрузки не является минимальным требованием к оперативной или видеопамяти. s1s2s4

Чем модель отличается от обычного чат-бота

JEV-35B обучена отвечать на вопросы вида «какой из предложенных вариантов подходит?». Небольшой дополнительно обученный модуль (LoRA) и отдельная часть для оценки вариантов работают поверх базовой модели. В примере из карточки обращение о двойном списании предлагается направить в один из отделов: billing, shipping, technical support или account security. Ответом служат оценки вариантов, а не гарантированно верная маршрутизация: человек должен сверять результат, особенно если ошибка может навредить клиенту. s1s5

Автор предлагает запускать пакет через vLLM — программу для запуска моделей на NVIDIA — и поставляемые файлы serve.sh и serve_decide.py. Их интерфейс /v1/decide принимает описание ситуации, вопрос и варианты, а возвращает выбор и вероятности. Это инженерный путь, не инструкция для новичка на обычном ноутбуке; совместимость с Ollama и LM Studio в первоисточнике не подтверждена. s1s5

Какие результаты и ограничения подтверждены

Авторы сообщают: в их прогоне открытой части Decision Index 0.3 вариант NVFP4 набрал 59,18 против 59,75 у варианта с исходной точностью BF16. Это не независимый тест Modelium и не полный результат лидерборда, в котором есть закрытая часть. Для NVFP4 проверялся запуск на B200; заявленные автором 23,3 GiB — память под веса в vLLM на их конфигурации, а не минимальная видеопамять для читателя. s1

В карточке модель названа ориентированной прежде всего на английский язык. Авторы предупреждают против автоматизации ответственных решений без контроля уверенности. Проверять её на реальных русскоязычных обращениях, скорость и требования своего компьютера нужно отдельно: таких измерений редакция не проводила. s1

Метаданные пакета и его файл LICENSE указывают Apache-2.0; исходный Qwen3.5-35B-A3B также помечен Apache-2.0. Открытые файлы весов, открытый код запуска и условия использования — разные вопросы: перед внедрением проверьте текст лицензии и права остальных компонентов своего стека. s2s3s6

Что делать дальше: если нужен контекст о той же задаче выбора, сначала прочитайте материал о JEV-27B. Для нового NVFP4-пакета сверяйтесь с закреплённой карточкой автора; считать чужой пример запуска проверенным Modelium нельзя. s1