Перейти к содержанию
modelium.
Начать с задачи
←
Новость

VisionHOPE: открыты код и 11 весов для локальных задач компьютерного зрения

На странице · 4 разделов

29 сентября авторы VisionHOPE выпустили код PyTorch и 11 обученных чекпойнтов для классификации ImageNet-1K, детекции и сегментации COCO, сегментации ADE20K. Это не чат-модель: она служит зрительным backbone. Локальный запуск по инструкции авторов требует Linux, NVIDIA CUDA и сборки CUDA-расширений; независимых испытаний Modelium не проводил.

Что произошло

29 сентября 2026 года команда VisionHOPE разместила релиз weights-v1 с весами для трёх размеров зрительного backbone — Tiny, Small и Base. В тот же день в основном репозитории появился код реализации, а на Hugging Face — 11 файлов .pth. Препринт вышел 27 сентября; это разные даты, и обновление карточки модели не выдаётся здесь за отдельный релиз. s1 s2 s3 s5 s6

VisionHOPE — модель компьютерного зрения, а не мультимодальный чат и не генератор изображений. Её можно использовать как основу для классификации изображений, детекции объектов и сегментации. Согласно авторам, архитектура обновляет внутренние представления во время обработки одного изображения, используя несколько связанных состояний и направленных проходов. Это описание метода, а не подтверждённый нами выигрыш качества. s3 s5

Что именно доступно

  • ImageNet-1K: по одному чекпойнту Tiny, Small и Base для классификации при входе 224 × 224.
  • COCO: Mask R-CNN, расписание обучения 1× для трёх размеров и 3× для Tiny и Small.
  • ADE20K: по одному чекпойнту UPerNet для семантической сегментации каждого размера.

Итого в закреплённом дереве HF находятся 11 .pth-файлов. Релиз GitHub перечисляет те же варианты; это два способа получить один выпуск, а не два независимых набора. Не путайте классификационный visionhope_small.pth с visionhope_small_coco_1x.pth или visionhope_small_ade20k.pth: они соответствуют разным задачам и конфигурациям. s1 s2 s6

Для локального инференса авторы предлагают Linux с NVIDIA GPU, CUDA toolkit (nvcc) и C++ компилятором; рекомендуют Python 3.10. Указанные в README PyTorch 2.1.0, torchvision 0.16.0 и CUDA 12.1 относятся к их инструкции установки, а не доказывают совместимость с любыми другими сборками. CUDA-расширения собираются при первом использовании. Веса модели предлагается оставлять в FP32, а для отдельных режимов использовать autocast. На CPU-only, Apple Silicon и обычном llama.cpp такой рецепт не заявлен. s3

Первый проверяемый шаг

Выберите классификационный файл и сначала воспроизведите авторский путь установки из закреплённого README и зависимостей проекта. Например, после подготовки окружения и получения исходного кода можно скачать один чекпойнт:

hf download PSRben/VisionHOPE visionhope_small.pth --local-dir weights

Затем по инструкции авторов создать visionhope_small с checkpoint_path="weights/visionhope_small.pth" и передать тензор [1, 3, 224, 224] на CUDA. Выход классификационной модели имеет форму [1, 1000]; для осмысленной проверки на изображениях нужен соответствующий препроцессинг и классы ImageNet, а не случайный вход из примера README. Для COCO и ADE20K нужны дополнительные зависимости OpenMMLab и соответствующие датасеты; не пытайтесь использовать их веса как готовый чат-API. Команды и версии необходимо брать из закреплённого кода, а не переносить автоматически на другой PyTorch/CUDA стек. s2 s3

Авторы приводят Top-1 для ImageNet-1K: 84,1% (Tiny), 85,2% (Small) и 85,6% (Base) при single-crop 224 × 224. COCO AP и ADE20K mIoU приведены для отдельных протоколов, поэтому сравнивать эти числа напрямую нельзя. Это заявленные авторами результаты; Modelium не запускал веса и не воспроизводил измерения. Размеры .pth описывают файлы загрузки и сами по себе не задают минимальную VRAM. s3 s5 s6

Права и ограничения

Исходный репозиторий содержит текст лицензии MIT для кода и файл атрибуций сторонних компонентов; карточка HF помечает веса license: mit, но отдельного файла LICENSE в дереве HF нет. Поэтому различайте лицензию кода, метку лицензии весов и собственные лицензии зависимостей и датасетов. Метка MIT допускает широкое использование при соблюдении текста лицензии; если важна передача весов или коммерческий продукт, отдельно зафиксируйте правообладателя и условия конкретного артефакта, не полагаясь на нашу заметку как на юридическое заключение. s2 s3 s4 s6

Кому это полезно: исследователям и разработчикам компьютерного зрения с CUDA-стеком, которым нужен новый открытый backbone для экспериментов на ImageNet/COCO/ADE20K. Если задача — локальный разговорный ассистент, RAG или генерация картинок, этот выпуск не решает её напрямую. s3

Источники