# JEV-35B NVFP4: локальная модель для выбора из вариантов

Источник: https://modelium.tech/zhurnal/jev-35b-nvfp4-local-decision-model/

11 октября AutoTrust выложила JEV-35B и её компактнее упакованный вариант NVFP4. Модель помогает выбрать один вариант из списка — например, отдел для обращения — без отправки самого запроса в облако при локальном запуске. Веса доступны, но путь рассчитан на инженера с NVIDIA и vLLM; редакция не запускала модель.

11 октября 2026 года AutoTrust открыла JEV-35B, а затем её вариант NVFP4: модель можно держать у себя и просить выбрать один пункт из списка. Например, по тексту обращения она может предложить отдел поддержки. Это не готовое приложение для сортировки почты: в репозитории находятся веса и инженерный способ запуска. Редакция проверила документы и состав файлов, но **не запускала модель**. [s1](#src-s1)[s2](#src-s2)

## Что появилось и зачем нужен второй пакет

Базовая JEV-35B основана на Qwen3.5-35B-A3B. Вариант NVFP4 уменьшает точность чисел у части весов — файлов, из которых собирается работающая модель, — чтобы сократить объём пакета. Это не новая модель, обученная с нуля: оба варианта относятся к одному выпуску. Репозиторий базы создан 11 октября в 01:22 UTC, вариант NVFP4 — в 03:05 UTC. Время создания репозитория не доказывает точное время объявления автора. [s1](#src-s1)[s2](#src-s2)[s3](#src-s3)

В закреплённой версии NVFP4 доступны все **14 файлов весов**, которые перечислены в индексе модели, а также модуль для выбора ответа, конфигурация и программа запуска. По данным автора, загрузка весов составляет 25,6 ГБ против 71,9 ГБ у базового варианта. Размер загрузки **не является минимальным требованием к оперативной или видеопамяти**. [s1](#src-s1)[s2](#src-s2)[s4](#src-s4)

## Чем модель отличается от обычного чат-бота

JEV-35B обучена отвечать на вопросы вида «какой из предложенных вариантов подходит?». Небольшой дополнительно обученный модуль (LoRA) и отдельная часть для оценки вариантов работают поверх базовой модели. В примере из карточки обращение о двойном списании предлагается направить в один из отделов: billing, shipping, technical support или account security. Ответом служат оценки вариантов, а не гарантированно верная маршрутизация: человек должен сверять результат, особенно если ошибка может навредить клиенту. [s1](#src-s1)[s5](#src-s5)

Автор предлагает запускать пакет через vLLM — программу для запуска моделей на NVIDIA — и поставляемые файлы `serve.sh` и `serve_decide.py`. Их интерфейс `/v1/decide` принимает описание ситуации, вопрос и варианты, а возвращает выбор и вероятности. Это **инженерный путь**, не инструкция для новичка на обычном ноутбуке; совместимость с Ollama и LM Studio в первоисточнике не подтверждена. [s1](#src-s1)[s5](#src-s5)

## Какие результаты и ограничения подтверждены

Авторы сообщают: в их прогоне **открытой части** Decision Index 0.3 вариант NVFP4 набрал 59,18 против 59,75 у варианта с исходной точностью BF16. Это не независимый тест Modelium и не полный результат лидерборда, в котором есть закрытая часть. Для NVFP4 проверялся запуск на B200; заявленные автором 23,3 GiB — память *под веса* в vLLM на их конфигурации, а не минимальная видеопамять для читателя. [s1](#src-s1)

В карточке модель названа ориентированной прежде всего на английский язык. Авторы предупреждают против автоматизации ответственных решений без контроля уверенности. Проверять её на реальных русскоязычных обращениях, скорость и требования своего компьютера нужно отдельно: таких измерений редакция не проводила. [s1](#src-s1)

Метаданные пакета и его файл LICENSE указывают Apache-2.0; исходный Qwen3.5-35B-A3B также помечен Apache-2.0. Открытые файлы весов, открытый код запуска и условия использования — разные вопросы: перед внедрением проверьте текст лицензии и права остальных компонентов своего стека. [s2](#src-s2)[s3](#src-s3)[s6](#src-s6)

**Что делать дальше:** если нужен контекст о той же задаче выбора, сначала прочитайте [материал о JEV-27B](/zhurnal/jev-27b-typed-decisions-vllm-local/). Для нового NVFP4-пакета сверяйтесь с закреплённой [карточкой автора](https://huggingface.co/autotrust/JEV-35B-NVFP4/tree/2a754f801d4f1c5296142c216787fde7a283be6f); считать чужой пример запуска проверенным Modelium нельзя. [s1](#src-s1)

## Источники

1. [AutoTrust JEV-35B-NVFP4: карточка закреплённой версии](https://huggingface.co/autotrust/JEV-35B-NVFP4/blob/2a754f801d4f1c5296142c216787fde7a283be6f/README.md) — получено 2026-10-11
2. [Hugging Face API: файлы и дата JEV-35B-NVFP4](https://huggingface.co/api/models/autotrust/JEV-35B-NVFP4/revision/2a754f801d4f1c5296142c216787fde7a283be6f) — получено 2026-10-11
3. [Hugging Face API: базовая JEV-35B](https://huggingface.co/api/models/autotrust/JEV-35B/revision/12e60c05770dcdb4b5247e6e799dece128a5de09) — получено 2026-10-11
4. [JEV-35B-NVFP4: закреплённый индекс файлов весов](https://huggingface.co/autotrust/JEV-35B-NVFP4/blob/2a754f801d4f1c5296142c216787fde7a283be6f/model.safetensors.index.json) — получено 2026-10-11
5. [AutoTrust: программа запуска JEV-35B-NVFP4](https://huggingface.co/autotrust/JEV-35B-NVFP4/blob/2a754f801d4f1c5296142c216787fde7a283be6f/serve.sh) — получено 2026-10-11
6. [AutoTrust JEV-35B-NVFP4: LICENSE](https://huggingface.co/autotrust/JEV-35B-NVFP4/blob/2a754f801d4f1c5296142c216787fde7a283be6f/LICENSE) — получено 2026-10-11