Ovis-VL-Embedding 2B и 9B: открытые веса для локального поиска по изображениям и документам

Для чего это нужно локально

Обе модели строят векторы для текста, изображений, страниц документов и видео. Это позволяет индексировать документы и изображения на своей инфраструктуре, а затем искать подходящие страницы по текстовому запросу или подбирать изображения и видеоматериалы по смыслу. Модели работают как bi-encoder: запрос и кандидат кодируются отдельно, затем их нормализованные векторы сравниваются по косинусной близости. Они не генерируют ответ на вопрос и не принимают аудио; для голосовых данных авторы описывают отдельную Omni-ветку. s1 s2

В основе 2B — Qwen3.5-2B с выходным вектором размерности 2048; 9B основана на Qwen3.5-9B и выдаёт 4096 измерений. Для уже построенного индекса важна согласованность: запросы и документы нужно обрабатывать одинаковым процессором, шаблоном, инструкцией задачи и нормализацией. Простая замена 2B на 9B без переиндексации несовместима с различием размерностей. s1 s2

Что показала оценка авторов

На MMEB-v2, где усредняются результаты 78 наборов по изображениям, видео и визуальным документам, команда сообщает общий результат 77,46 для 2B и 81,13 для 9B. Это результаты авторов на указанной подборке, не независимое тестирование Modelium. У обеих моделей агрегированная оценка по видео ниже лучшей модели сравнения в таблицах: 67,12 против 68,84 для 2B и 72,90 против 75,95 для 9B. При выборе модели для собственного архива изображений или документов стоит проверить качество на своих запросах, а не переносить общий балл на новую предметную область. s1 s2 s3

Веса, лицензия и готовность запуска

В официальных репозиториях лежат Safetensors, конфигурация, токенизатор и процессор: у 2B один файл весов, у 9B четыре шарда. Файлы модели размещены в подкаталоге model/, что нужно учитывать при загрузке. Ревизии на момент проверки: 5fbf2484 для 2B и dc11d278 для 9B. Оба репозитория содержат текст Apache License 2.0; эта лицензия допускает коммерческое применение при соблюдении её условий и сохранении уведомлений. Наличие открытых весов не равнозначно проверенной поддержке в Ollama или llama.cpp. s1 s2 s4 s5

В карточках дан алгоритм извлечения эмбеддинга — финальное скрытое состояние последнего непустого токена с L2-нормализацией, — но на момент проверки в связанном GitHub-репозитории опубликованы только README и логотип. Готового примера установки или команды запуска там нет. Поэтому перед внедрением потребуются собственная интеграция с процессором и проверка правильности pooling на контрольной выборке. Мы не запускали модель и не оценивали требования к оперативной или видеопамяти: объём файлов на диске не задаёт минимальную конфигурацию сервера. s1 s2 s4