Grounding DINO Tiny ONNX: поиск нескольких объектов в браузере

Что изменилось при поиске нескольких объектов?

Grounding DINO сопоставляет текстовые описания с областями изображения. ONNX — формат файла модели, который может исполнять браузерная программа; WebGPU использует доступное браузеру графическое ускорение, а WebAssembly служит другим вариантом выполнения. В новом пакете есть файл модели, настройки обработки изображений и текста, а также исходный код экспорта. Автор приводит пример подключения через Transformers.js; это пример для разработчика, не страница, где посетитель сразу загружает своё фото. s1s3

По утверждению автора, прежняя ONNX-конверсия почти переставала оценивать все фразы после первой. В новой он переделал маску внимания к тексту так, чтобы в графе экспорта обрабатывалось переменное число фраз. Для запроса вроде «goat. city. sky.» это должно дать рамки для нескольких названных объектов за один проход. Само поведение исходной модели и формат фраз описаны также в карточке IDEA Research; независимой проверки исправления Modelium не проводил. s1s4

Кому это полезно сейчас?

В первую очередь разработчикам браузерных инструментов для поиска и разметки объектов на изображениях. Автор сообщает о проверке текстовой части на 140 запросах и сравнивает два экспорта на 24 изображениях и 98 запросах в Edge с ONNX Runtime Web 1.31. На его RTX 4070 Ti SUPER один проход WebGPU занял 347 мс у нового пакета против 327 мс у старого; WebAssembly в один поток — 14,7 против 13,4 секунды. Это замеры автора в указанных условиях, а не обещание скорости на вашем компьютере; оценки качества и производительности редакция не воспроизводила. s1

Исходная модель IDEA-Research/grounding-dino-tiny выпущена раньше; новость касается именно новой ONNX-конверсии. Её модельная карточка и LICENSE указывают Apache-2.0, как и карточка исходных весов и действующий LICENSE репозитория GroundingDINO. Не следует путать лицензию модели с настройками браузера или считать размер файла минимальным объёмом оперативной памяти: таких требований автор не сообщил. s1s3s4s5

Нужно ли что-то менять?

Если вы просто хотите попробовать готовый редактор картинок, пока нет оснований устанавливать этот пакет: опубликован кодовый пример, не самостоятельное пользовательское приложение. Если создаёте локальный браузерный инструмент с поиском по нескольким описаниям, сравните рамки новой и прежней конверсий на собственных картинках и проверьте, доступны ли WebGPU либо запасной WebAssembly. Порядок фраз и пороги поиска могут влиять на результат; автор отдельно предупреждает, что в общем проходе фразы конкурируют за области изображения. Веса доступны для скачивания, но Modelium не проводил запуск и не знает минимальных требований вашего устройства. s1s3

Не путайте этот поиск рамок с SAM 3 в браузере: тот материал посвящён сегментации — выделению области объекта, а не поиску сразу нескольких названий.

Источники проверены 22 октября 2026 года; версия нового пакета: HF commit 73f79abbf42dfda0fb65f99fd27279e08ef4f074. s1s2