APUS-OpenJev-v1: локальные decision-модели 4B, 9B и 35B-A3B с открытыми весами

  </tr><tr>
    <td>
    <p>4B</p>
  </td>
<td>
    <p>16 слоёв</p>
  </td>
<td>
    <p>32 слоя</p>
  </td>

  </tr><tr>
    <td>
    <p>9B</p>
  </td>
<td>
    <p>16 слоёв</p>
  </td>
<td>
    <p>32 слоя</p>
  </td>

  </tr><tr>
    <td>
    <p>35B-A3B</p>
  </td>
<td>
    <p>20 слоёв</p>
  </td>
<td>
    <p>40 слоёв</p>
  </td>

  </tr></tbody>
    </table>
  <p><code>high</code> — основной режим для качества решений и генерации текста. <code>low</code> использует ранний выход и предназначен для ситуаций, где важнее вычислительный бюджет. Это ручной выбор: автоматического переключения по уверенности нет. Возвращаемые вероятности описывают относительное предпочтение внутри переданного набора кандидатов и <strong>не являются откалиброванной вероятностью правильности или успеха действия</strong>. <a href="#src-s1" rel="noopener noreferrer">s1</a> <a href="#src-s5" rel="noopener noreferrer">s5</a></p><p>У 35B-A3B ранний выход не превращает модель в меньший пакет: runtime по-прежнему загружает полные веса. Авторы приводят ориентир <strong>75 ГБ или больше GPU-памяти</strong> для BF16 и сообщают о проверке на RTX PRO 6000 с 96 ГБ, но прямо называют эту цифру приблизительной оценкой планирования, а не протестированным минимумом. Поэтому конфигурацию авторской проверки нельзя выдавать за обязательное аппаратное требование. <a href="#src-s5" rel="noopener noreferrer">s5</a></p><h2>Локальный запуск</h2><p>Для 35B-A3B авторы приводят базовый путь через Hugging Face CLI и комплектный Python-runtime:</p><p>python -m pip install huggingface_hub<br />hf download apus-ailab/APUS-OpenJev-v1-35B-A3B \<br />  --revision 4947385291375f6f5149b3156ff2811c65ebf020 \<br />  --local-dir ./APUS-OpenJev-v1-35B-A3B<br />cd APUS-OpenJev-v1-35B-A3B<br />python -m pip install -r requirements.txt<br />python examples.py . --device cuda:0 --effort high<br /></p><p>Комплектный loader зафиксирован на Transformers 5.16.1, рассчитан на CUDA и проверяет параметры, чувствительные к приведению dtype. Он предоставляет интерфейс <code>decide()</code> для текстовых запросов и отбрасывает входы длиннее настроенного лимита — не обрезает их молча. Текущий reference runtime однозапросный и text-only: авторы не заявляют автоматический depth routing, production-конкурентность, мультимодальный запуск или эквивалентность с vLLM/SGLang. <a href="#src-s5" rel="noopener noreferrer">s5</a></p><p>Для 4B и 9B команды аналогичны: нужно заменить ID репозитория и запускать комплектный <code>examples.py</code>. Их reference runtime также требует CUDA, PyTorch 2.8.0 и Transformers 5.16.1. Минимальная конфигурация GPU в карточках не заявлена. <a href="#src-s2" rel="noopener noreferrer">s2</a> <a href="#src-s3" rel="noopener noreferrer">s3</a></p><h2>Что показывают авторские тесты</h2><p>На собственной <strong>Frozen80 development panel</strong> авторы сообщают следующие результаты полного режима:</p><ul><li>4B: <strong>66 из 80</strong>, или 82,5%;</li><li>9B: <strong>68 из 80</strong>, или 85%;</li><li>35B-A3B: <strong>71 из 80</strong>, или 88,75%.</li></ul><p>Панель включает задачи Browser, HelpSteer3, BoolQ, MNLI и проверку отдельных атрибутов. Это повторно используемый инженерный набор разработки, а не независимый слепой benchmark и не показатель успешности полного браузерного агента. Modelium эти модели не тестировал. <a href="#src-s1" rel="noopener noreferrer">s1</a> <a href="#src-s2" rel="noopener noreferrer">s2</a> <a href="#src-s3" rel="noopener noreferrer">s3</a> <a href="#src-s4" rel="noopener noreferrer">s4</a></p><p>Для 35B-A3B опубликован отдельный результат экспериментального 20-слойного выхода: <strong>63 из 80</strong>, или 78,75%. Portable runtime воспроизвёл решения native merged-версии на обеих глубинах, однако сравнение исходного адаптера и merged-весов не прошло проверку численной эквивалентности вероятностей. Авторы отдельно предупреждают: калибровку и бизнес-пороги нужно заново проверять на опубликованном merged-чекпойнте, а не переносить со старого адаптера. <a href="#src-s5" rel="noopener noreferrer">s5</a> <a href="#src-s9" rel="noopener noreferrer">s9</a></p><h2>Практический вывод</h2><p>APUS-OpenJev-v1 интересна как готовый локальный слой принятия ограниченных решений: вместо генерации произвольного JSON модель выбирает вариант из набора, который определяет само приложение. Это может упростить роутинг инструментов и обращений, но не снимает необходимости проверять качество на собственных данных.</p><p>Начинать разумнее с 4B или 9B: их артефакты заметно компактнее, а интерфейс совпадает со старшей моделью. 35B-A3B имеет лучший авторский результат на Frozen80, но требует существенно более тяжёлого BF16-развёртывания. В любом размере следует отдельно валидировать prompt, набор кандидатов, калибровку порогов и последствия ошибочного действия.</p>