# VisionHOPE: открыты код и 11 весов для локальных задач компьютерного зрения

Источник: https://modelium.tech/zhurnal/visionhope-weights-code-local-cuda-vision/

29 сентября авторы VisionHOPE выпустили код PyTorch и 11 обученных чекпойнтов для классификации ImageNet-1K, детекции и сегментации COCO, сегментации ADE20K. Это не чат-модель: она служит зрительным backbone. Локальный запуск по инструкции авторов требует Linux, NVIDIA CUDA и сборки CUDA-расширений; независимых испытаний Modelium не проводил.

## Что произошло

29 сентября 2026 года команда VisionHOPE разместила релиз `weights-v1` с весами для трёх размеров зрительного backbone — Tiny, Small и Base. В тот же день в основном репозитории появился код реализации, а на Hugging Face — 11 файлов `.pth`. Препринт вышел 27 сентября; это разные даты, и обновление карточки модели не выдаётся здесь за отдельный релиз. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s5](#src-s5) [s6](#src-s6)

VisionHOPE — модель компьютерного зрения, а **не мультимодальный чат** и не генератор изображений. Её можно использовать как основу для классификации изображений, детекции объектов и сегментации. Согласно авторам, архитектура обновляет внутренние представления во время обработки одного изображения, используя несколько связанных состояний и направленных проходов. Это описание метода, а не подтверждённый нами выигрыш качества. [s3](#src-s3) [s5](#src-s5)

## Что именно доступно

- **ImageNet-1K:** по одному чекпойнту Tiny, Small и Base для классификации при входе 224 × 224.

- **COCO:** Mask R-CNN, расписание обучения 1× для трёх размеров и 3× для Tiny и Small.

- **ADE20K:** по одному чекпойнту UPerNet для семантической сегментации каждого размера.

Итого в закреплённом дереве HF находятся 11 `.pth`-файлов. Релиз GitHub перечисляет те же варианты; это два способа получить один выпуск, а не два независимых набора. Не путайте классификационный `visionhope_small.pth` с `visionhope_small_coco_1x.pth` или `visionhope_small_ade20k.pth`: они соответствуют разным задачам и конфигурациям. [s1](#src-s1) [s2](#src-s2) [s6](#src-s6)

Для локального инференса авторы предлагают Linux с NVIDIA GPU, CUDA toolkit (`nvcc`) и C++ компилятором; рекомендуют Python 3.10. Указанные в README PyTorch 2.1.0, torchvision 0.16.0 и CUDA 12.1 относятся к их инструкции установки, а не доказывают совместимость с любыми другими сборками. CUDA-расширения собираются при первом использовании. Веса модели предлагается оставлять в FP32, а для отдельных режимов использовать autocast. На CPU-only, Apple Silicon и обычном `llama.cpp` такой рецепт не заявлен. [s3](#src-s3)

## Первый проверяемый шаг

Выберите **классификационный** файл и сначала воспроизведите авторский путь установки из закреплённого README и зависимостей проекта. Например, после подготовки окружения и получения исходного кода можно скачать один чекпойнт:

hf download PSRben/VisionHOPE visionhope_small.pth --local-dir weights

Затем по инструкции авторов создать `visionhope_small` с `checkpoint_path="weights/visionhope_small.pth"` и передать тензор `[1, 3, 224, 224]` на CUDA. Выход классификационной модели имеет форму `[1, 1000]`; для осмысленной проверки на изображениях нужен соответствующий препроцессинг и классы ImageNet, а не случайный вход из примера README. Для COCO и ADE20K нужны дополнительные зависимости OpenMMLab и соответствующие датасеты; не пытайтесь использовать их веса как готовый чат-API. Команды и версии необходимо брать из закреплённого кода, а не переносить автоматически на другой PyTorch/CUDA стек. [s2](#src-s2) [s3](#src-s3)

Авторы приводят Top-1 для ImageNet-1K: 84,1% (Tiny), 85,2% (Small) и 85,6% (Base) при single-crop 224 × 224. COCO AP и ADE20K mIoU приведены для отдельных протоколов, поэтому сравнивать эти числа напрямую нельзя. **Это заявленные авторами результаты; Modelium не запускал веса и не воспроизводил измерения.** Размеры `.pth` описывают файлы загрузки и сами по себе не задают минимальную VRAM. [s3](#src-s3) [s5](#src-s5) [s6](#src-s6)

## Права и ограничения

Исходный репозиторий содержит текст лицензии MIT для кода и файл атрибуций сторонних компонентов; карточка HF помечает веса `license: mit`, но отдельного файла LICENSE в дереве HF нет. Поэтому различайте лицензию кода, метку лицензии весов и собственные лицензии зависимостей и датасетов. Метка MIT допускает широкое использование при соблюдении текста лицензии; если важна передача весов или коммерческий продукт, отдельно зафиксируйте правообладателя и условия конкретного артефакта, не полагаясь на нашу заметку как на юридическое заключение. [s2](#src-s2) [s3](#src-s3) [s4](#src-s4) [s6](#src-s6)

**Кому это полезно:** исследователям и разработчикам компьютерного зрения с CUDA-стеком, которым нужен новый открытый backbone для экспериментов на ImageNet/COCO/ADE20K. Если задача — локальный разговорный ассистент, RAG или генерация картинок, этот выпуск не решает её напрямую. [s3](#src-s3)

## Источники

1. [VisionHOPE pretrained weights — официальный GitHub release weights-v1](https://github.com/PSRben/VisionHOPE/releases/tag/weights-v1) — получено 2026-09-29
2. [VisionHOPE — карточка весов Hugging Face, ревизия 3850810](https://huggingface.co/PSRben/VisionHOPE/blob/3850810eacec56d64792485cec9e7b2b37885192/README.md) — получено 2026-09-29
3. [VisionHOPE — официальный код и руководство, commit d22997c](https://github.com/PSRben/VisionHOPE/blob/d22997cea8f9091cc6d69e87e180a8ab507bf899/README.md) — получено 2026-09-29
4. [VisionHOPE — MIT LICENSE в репозитории исходного кода](https://github.com/PSRben/VisionHOPE/blob/d22997cea8f9091cc6d69e87e180a8ab507bf899/LICENSE) — получено 2026-09-29
5. [VisionHOPE: Visual Backbones as Self-Modifying Learning Systems — arXiv](https://arxiv.org/abs/2609.33325) — получено 2026-09-29
6. [VisionHOPE — полный манифест файлов HF закреплённой ревизии](https://huggingface.co/api/models/PSRben/VisionHOPE/tree/3850810eacec56d64792485cec9e7b2b37885192?recursive=true) — получено 2026-09-29