Trident-Qwen3VL-2B: поиск сразу по текстам и изображениям

Что именно вышло

Trident-Qwen3VL-2B — модель для поиска, а не для беседы. Она превращает запрос и каждый документ в числовые представления — векторы; система сравнивает их и ставит наиболее подходящие документы выше. В опубликованном примере один запрос ранжирует текст, картинку и текст с картинкой в общем списке. Авторы предоставили уже объединённый чекпойнт: для него не требуется отдельно подгружать исходную Qwen3-VL и адаптер дообучения. s1

В закреплённом репозитории Hugging Face есть model.safetensors, настройки, токенизатор и файлы обработки изображений. Сам файл весов занимает 4 255 140 312 байт на диске; это не заявка на необходимый объём оперативной или видеопамяти. Исходная модель — Qwen3-VL-2B-Instruct, дообученная авторами Trident. s1 s5

Почему это может быть полезно

В статье авторы описывают проблему смешанного поиска: посторонние текстовые страницы способны оказаться выше подходящих изображений. По их оценке, обучение Trident на нескольких представлениях каждого документа снижает перекос между текстом и картинкой. Это результат авторов, а не независимое измерение Modelium; на вашей коллекции качество поиска нужно проверять отдельно. s3 s2

Практический сценарий — поиск диаграммы в папке с отчётами, когда рядом есть текстовые заметки на ту же тему. Модель выдаёт оценки близости материалов к запросу; сама по себе она не строит готовое приложение, не извлекает проверенный ответ из диаграммы и не гарантирует, что первым окажется правильный файл. s1

Что нужно для локального использования

Авторы опубликовали код и пример, в котором модель загружается из локальной папки, а обработка выполняется на cuda:0 — видеокарте NVIDIA. Они указывают проверенную программную среду Python 3.12, PyTorch 2.10 и Transformers 4.57.1. Это технический путь для разработчика, не установка в пару кликов и не проверенная нами инструкция для домашнего компьютера. Указанные в работе восемь A100 использовались для экспериментов авторов; считать их минимальным требованием для поиска нельзя. Минимум памяти для домашнего запуска в этих источниках не приведён. s1 s2

Карточка модели относит собственный вклад Trident, включая дообученные веса, к MIT; базовая Qwen3-VL-2B-Instruct помечена Apache-2.0, а обучающие изображения взяты из сторонних наборов с собственными условиями. Открытые веса не означают единую лицензию на все исходные данные. Если важна коммерческая эксплуатация или распространение наборов, проверьте условия каждого компонента отдельно. s1 s2 s4

Следующий шаг: если вы собираете локальный поиск по изображениям и тексту, сравните Trident на собственной небольшой подборке с уже опубликованной Ovis-VL-Embedding. Для обычного пользователя без Python и совместимой видеокарты это пока новость о доступных весах, а не готовый домашний рецепт. Редакция не загружала модель и не измеряла её скорость или качество. s1