SAM 3 в браузере: появились ONNX-веса для WebGPU

22 октября 2026 года в репозитории Card Anvil появились преобразованные веса Meta SAM 3 для браузерного запуска через WebGPU — способ использовать видеокарту из веб-страницы. Они помогают выделять на изображении объекты, названные словами: например, по запросу car получить маску автомобилей, то есть область изображения с найденными объектами. Репозиторий с файлами доступен, но это не готовая кнопка «установить» для новичка и не подтверждение работы на любом домашнем компьютере. s1

Что именно стало доступно?

Автор разделил обработку на три части: изображение, текст запроса и поиск объектов с построением масок. В репозитории лежат пять файлов моделей в формате ONNX: обычный и более компактный варианты для изображения и текста, а также общий файл поиска. Служебные файлы и исходники экспорта доступны там же. Полный набор файлов виден в закреплённой ревизии репозитория. s1s2

Компактный вариант использует восьмибитное хранение части весов: его скачивание, по данным автора, занимает около 0,94 ГБ против примерно 1,68 ГБ у обычного. Размер загрузки не равен необходимой видеопамяти. Автор не приводит проверенный минимум памяти и отдельно предупреждает, что компактный вариант не был измерен на компьютерах со встроенной графикой. s1s2

Что это меняет при локальном использовании?

Разработчик может встроить обработку картинки и текстового запроса в веб-приложение, используя ONNX Runtime Web и WebGPU. Для одного изображения часть модели запускается один раз, затем для каждой отдельной фразы выполняются текстовая часть и поиск. В карточке описаны размеры входной картинки и порядок обработки; это технический путь для интеграции, а не проверенная редакцией инструкция установки. Сам Card Anvil говорит об использовании в своей команде Describe, но публичную доступность этой команды мы здесь не подтверждаем. s1

Ожидаемый результат на учебном примере: для картинки с автомобилями английский запрос car должен дать области соответствующих объектов. Проверять нужно не только факт появления маски, но и её совпадение с нужными объектами: неверно выделенные или пропущенные предметы требуют ручной проверки. Редакция не запускала эту модель и не обещает такого результата для конкретной фотографии. s1

Что проверено автором и что ещё неизвестно?

Card Anvil сообщает о сравнении с исходной PyTorch-версией на шести изображениях и десяти текстовых запросах. По заявлению автора, в этих примерах браузерные варианты сохранили тот же набор обнаружений при заданном пороге, а худшее совпадение объединённых масок составило 0,975. Это авторская оценка на небольшой выборке, а не независимая проверка качества для произвольных фотографий. s1

В Microsoft Edge на NVIDIA RTX 4070 Ti SUPER автор измерил для уже прогретого запуска около 0,8 секунды на обработку картинки обычным вариантом и около 2,2 секунды компактным; затем обработка каждой фразы требует отдельных шагов. Компактный вариант на этой видеокарте не быстрее. Эти цифры не являются требованиями к железу или гарантией скорости на другом устройстве. s1

Какая лицензия у весов?

Преобразованные файлы наследуют SAM License Meta: это не обычная лицензия открытого ПО. Условия включают передачу той же лицензии при распространении производных материалов и ограничения на некоторые способы использования; отдельно оцените применимость условий к своему проекту. Не переносите на эти веса лицензию Apache-2.0, относящуюся к реализации в Transformers, и не считайте публичную загрузку подтверждением неограниченных коммерческих прав. Исходный репозиторий Meta на Hugging Face требует одобрения доступа, тогда как эта конверсия опубликована без такого ограничения на скачивание; это не отменяет условий SAM License. s1s3s4

Следующий шаг: разработчику стоит сначала прочитать закреплённую карточку, условия SAM License и ограничения тестов, а затем решать, подходит ли интеграция для его браузерного приложения. Для обычного пользователя пока не подтверждён простой путь запуска и проверки на своей машине. s1s3