# OneJev-0.8B в ONNX: локальные решения по тексту и изображениям через WebGPU

Источник: https://modelium.tech/zhurnal/onejev-08b-onnx-webgpu-browser-decisions/

30 сентября 2026 года появилась неофициальная ONNX-конверсия OneJev-0.8B с вариантами fp32, fp16 и q4f16 для Transformers.js. Она позволяет обрабатывать текст и изображения в браузере с WebGPU без обращения к удалённому inference API после загрузки файлов. Это модель выбора и оценки вариантов, а не обычный чат-бот; автор конверсии проверил соответствие оригиналу на девяти вопросах, причём q4f16 изменил лучший ответ в одном близком случае.

## Что произошло

30 сентября 2026 года в Hugging Face опубликована **ONNX-конверсия OneJev-0.8B**. Исходная OneJev — мультимодальная модель для выбора вариантов и выставления оценок по тексту, скриншоту или фотографии. В отличие от обычной генерации ответа она возвращает вероятности для предложенных вариантов; новый пакет предназначен для Transformers.js и браузерного WebGPU. Это конверсия стороннего автора, не выпуск новой базовой модели от команды OmniJev. [s1](#src-s1) [s3](#src-s3) [s6](#src-s6)

Практический сценарий — локально оценить состояние интерфейса и выбрать следующее действие агента, классифицировать заявку по заданным категориям или выставить score без отправки каждого запроса в облачный inference API. Модельные файлы сначала необходимо скачать; сам факт локального расчёта не делает безопасными загрузку модели из сети или любой код приложения. Исходная модель уже имела локальные варианты для PyTorch и GGUF; новость именно в браузерном ONNX/WebGPU-пути. [s1](#src-s1) [s3](#src-s3) [s4](#src-s4)

## Какие файлы доступны

Закреплённая ревизия `afc03812cedf078ce660ec410fcf8597b4c4ec5d` содержит по три графа (`decoder_model_merged`, `embed_tokens`, `vision_encoder`) в fp32, fp16 и q4f16, с соответствующими внешними файлами ONNX data. Для браузерной конфигурации q4f16 пример автора использует q4f16 для декодера и эмбеддингов, **fp16 для vision encoder**: три внешних файла занимают примерно 0,79 ГБ на диске суммарно; в карточке округлено до 0,8 ГБ. Это не оценка минимальной RAM или VRAM. Конвертер, референсные данные, конфигурация процессора и chat template также находятся в репозитории. [s1](#src-s1) [s2](#src-s2) [s4](#src-s4)

Графы происходят от `Qwen3.5-0.8B-ONNX-OPT`, но веса взяты из OneJev-0.8B. Автор сообщает о сопоставлении 420 исходных параметров с графами; vision tower исходной модели при обучении была заморожена. Веб-реализация выбирает устройство `webgpu` или `wasm`, загружает `AutoProcessor` и `AutoModelForImageTextToText`, а вероятности считает из логитов буквенных вариантов. Это не готовый стандартный endpoint Ollama `/v1/chat/completions`: интеграция требует собственного формата вопросов и обработки изображений. [s1](#src-s1) [s4](#src-s4)

## Что известно о качестве — и чего не известно

По **авторской проверке**, сравнение с полным fp32-прогоном исходной модели охватило лишь девять вопросов по тексту и двум изображениям. Максимальное отличие вероятности составило 0,0011 для fp32 в ONNX Runtime, 0,030 для fp16 WebGPU и 0,025 на восьми вопросах для q4f16; в одном близком выборе q4f16 дал иного лидера, а отличие достигло 0,19. Автор также сообщает примерно 150 мс на текстовый вопрос и 500 мс на вопрос с изображением 720×400 на Mac M3 Pro. Это не независимый тест Modelium и не обещание скорости на другом устройстве. [s1](#src-s1) [s4](#src-s4)

Для пилота проверьте на собственных пограничных случаях не только выбранный вариант, но и распределение вероятностей относительно fp16 или исходной модели. Из-за малого авторского набора нельзя считать q4f16 безошибочной заменой. Браузерное демо и исходники реализации доступны у автора конверсии; поддержка WebGPU и время загрузки зависят от конкретной среды. [s1](#src-s1) [s4](#src-s4)

## Права и следующий шаг

Карточка ONNX-пакета помечена **Apache-2.0**, как и исходная OneJev; лицензия исходного репозитория на GitHub также Apache-2.0. Это подтверждает заявленные условия распространения модели, но при встраивании в продукт отдельно проверьте уведомления и лицензии всех зависимостей и используемых данных. Открытые веса, исходники демо и разрешение на коммерческое использование нельзя автоматически приравнивать друг к другу: у репозитория демонстрации нет отдельного GitHub license-файла по проверенному дереву. [s1](#src-s1) [s3](#src-s3) [s5](#src-s5)

Начните с карточки закреплённой ревизии и браузерного примера автора: выберите WebGPU q4f16 для небольшого пилота или fp16 для проверки чувствительных выборов; используйте шаблон вопросов из исходников и сравните вероятности на своих данных. Для сервера и других размеров OneJev уже есть отдельный материал о GGUF, но его нельзя выдавать за инструкцию для браузерной ONNX-конверсии. [s1](#src-s1) [s4](#src-s4)

## Источники

1. [onnx-community/OneJev-0.8B-ONNX — model card, revision afc0381](https://huggingface.co/onnx-community/OneJev-0.8B-ONNX/blob/afc03812cedf078ce660ec410fcf8597b4c4ec5d/README.md) — получено 2026-10-01
2. [Hugging Face API — pinned file tree](https://huggingface.co/api/models/onnx-community/OneJev-0.8B-ONNX/tree/afc03812cedf078ce660ec410fcf8597b4c4ec5d?recursive=true&limit=100) — получено 2026-10-01
3. [OmniJev/OneJev-0.8B — original model card](https://huggingface.co/OmniJev/OneJev-0.8B) — получено 2026-10-01
4. [shreyaskarnik/onejev-web — browser implementation and checks](https://github.com/shreyaskarnik/onejev-web/tree/79f4cdf21dbe29de3c6cd0279eba31d045b78cba) — получено 2026-10-01
5. [OmniJev/OneJev — upstream Apache License 2.0](https://github.com/OmniJev/OneJev/blob/main/LICENSE) — получено 2026-10-01
6. [Hugging Face API — ONNX model publication date and revision](https://huggingface.co/api/models/onnx-community/OneJev-0.8B-ONNX) — получено 2026-10-01