Мультимодальные модели: что умеют и как выбрать локальную под задачу

Что такое мультимодальная модель?

Мультимодальность означает работу с несколькими типами данных. В чат-формате Transformers один запрос может содержать текстовые блоки вместе с изображением, аудио или видео; вместо обычной текстовой строки применяется список блоков разных типов s1. Это описание формата, а не обещание, что любая модель принимает все перечисленные типы. Сначала уточните вход и выход конкретной модели и её runtime.

Пример: сотрудник задаёт текстовый вопрос о счёте и прикладывает скан. Vision-language модель (VLM) должна обработать изображение и вопрос, а ответ может быть обычным текстом. В документации Hugging Face VLM отличается от более узкого image-to-text подхода: текстовый вопрос может быть открытым, а не только заданием «подпиши картинку» s7. Если нужен лишь транскрипт записи разговора, это другая задача: Whisper предназначен для распознавания речи, перевода речи и определения языка s3. Один пайплайн может соединять несколько моделей, но от этого его нельзя выдавать за возможности одной модели.

Как выбрать вход под задачу?

• Скриншот или фото + вопрос. Нужна модель с поддержкой изображения и текста. Документация Ollama показывает vision-запрос с массивом images; в REST API изображение передаётся в base64, а в SDK возможны другие способы передачи s4. Поле images само по себе не превращает текстовую модель в vision-модель: проверьте именно выбранный тег модели.
• Скан и поля документа. Авторы Qwen2.5-VL-3B-Instruct заявляют понимание текстов и таблиц в изображениях и возможность структурированного извлечения из сканов счетов и форм s2. Это заявленная возможность, не гарантия точности для русских счетов. Если нужен только печатный текст с дальнейшей проверкой, сравните специализированные OCR-подходы с VLM на одних и тех же сканах.
• Аудиозапись → текст. Начните с локального распознавания речи: Whisper выполняет транскрибацию и определение языка s3. Текстовый ответ на вопрос по аудио требует отдельной проверки возможностей конкретной модели или следующего шага после транскрипции; Qwen3-ASR — ещё одна страница для выбора speech-модели.
• Видео → вопрос о событиях. Карточка Qwen2.5-VL-3B-Instruct заявляет поддержку видео и поиск событий во времени s2. Не переносите это свойство автоматически на все VLM или на каждый backend: подтвердите поддержку видео и способ подачи кадров в документации выбранной модели и runtime. На коротком фрагменте с известным событием сравните ответ и указанный момент с оригиналом.

Модель, железо и способ запуска: что проверять?

Укажите точный репозиторий/ревизию весов, тип входа, формат и runtime. Карточка Qwen2.5-VL-3B-Instruct — пример модели для изображения и видео по заявлению автора, а не универсальная рекомендация к установке или результат теста Modelium s2. Для локальной задачи с одним изображением гайд Ollama Vision API даёт конкретный следующий шаг; альтернатива — мультимодальный API llama.cpp. Само наличие API /api/chat и поля images говорит о способе передачи данных, но реальная поддержка и результат зависят от модели s4 s5.

Не выводите минимальные RAM/VRAM из размера файла весов или имени «3B». Для запущенного экземпляра Ollama /api/ps показывает size_vram, size и context_length; это наблюдаемое состояние на конкретном устройстве, а не универсальный аппаратный минимум s6. До подбора железа нужно знать выбранный квант, длину входа, число изображений/кадров и одновременных запросов; сравнение вариантов на своём устройстве остаётся обязательным. Условий коммерческого использования название «открытые веса» само по себе не задаёт: читайте лицензию точной ревизии модели.

Как подтвердить результат, а не просто получить ответ?

1. Возьмите один тестовый кадр со знакомыми деталями: например, скан с двумя реквизитами и суммой. Не подавайте реальные чувствительные документы в непроверенную конфигурацию.
2. Сверьте по документации, что конкретная модель принимает изображение, а runtime умеет передавать его именно в этом формате. В Ollama это запрос чата с текстом и images; готовый маршрут проверки — гайд по Vision API s4 s5.
3. Задайте вопрос о двух видимых деталях и одной детали, которой на кадре нет. Сравните каждый ответ с исходным изображением; отсутствие детали должно остаться неопределённостью, а не уверенной выдумкой. Для документов вручную сверяйте номер, дату, сумму и структуру таблицы до записи в учётную систему.
4. Запишите модель/ревизию, runtime, устройство, входной файл, ожидаемые и фактические поля. Для контроля размещения проверьте состояние загрузки через /api/ps после запроса s6. Изменяйте модель или настройки только после сохранения исходного результата на том же входе.

Основной следующий шаг: откройте локальный гайд Ollama Vision API и сравните ответ vision-модели с собственным контрольным изображением. Для речи и видео не подменяйте эту проверку текстом: выбирайте соответствующий вход и отдельно подтверждайте его поддержку конкретной версией s1 s2 s3.