# Мультимодальные модели: что умеют и как выбрать локальную под задачу

Источник: https://modelium.tech/zhurnal/multimodalnye-modeli/

Мультимодальная модель обрабатывает больше одного вида данных — например, текстовый вопрос вместе с изображением, аудио или видео. Но слово «мультимодальная» не означает, что любая такая модель одинаково понимает все форматы: проверяйте поддерживаемый вход и выход конкретной версии. Для локального старта с изображением выберите совместимую vision-модель и сравните её ответ с исходным кадром; для речи может понадобиться отдельная модель распознавания.

Проверено 2 октября 2026 года по Transformers v4.57.1, закреплённым ревизиям Qwen2.5-VL-3B-Instruct и Whisper, документации Ollama. Modelium не запускал модели и не измерял их точность, скорость или потребность в памяти.

## Что такое мультимодальная модель?

**Мультимодальность** означает работу с несколькими типами данных. В чат-формате Transformers один запрос может содержать текстовые блоки вместе с изображением, аудио или видео; вместо обычной текстовой строки применяется список блоков разных типов [s1](#src-s1). Это описание формата, а не обещание, что *любая* модель принимает все перечисленные типы. Сначала уточните вход и выход конкретной модели и её runtime.

Пример: сотрудник задаёт текстовый вопрос о счёте и прикладывает скан. Vision-language модель (VLM) должна обработать **изображение и вопрос**, а ответ может быть обычным текстом. В документации Hugging Face VLM отличается от более узкого image-to-text подхода: текстовый вопрос может быть открытым, а не только заданием «подпиши картинку» [s7](#src-s7). Если нужен лишь транскрипт записи разговора, это другая задача: Whisper предназначен для распознавания речи, перевода речи и определения языка [s3](#src-s3). Один пайплайн может соединять несколько моделей, но от этого его нельзя выдавать за возможности одной модели.

## Как выбрать вход под задачу?

- **Скриншот или фото + вопрос.** Нужна модель с поддержкой изображения и текста. Документация Ollama показывает vision-запрос с массивом `images`; в REST API изображение передаётся в base64, а в SDK возможны другие способы передачи [s4](#src-s4). Поле `images` само по себе не превращает текстовую модель в vision-модель: проверьте именно выбранный тег модели.

- **Скан и поля документа.** Авторы Qwen2.5-VL-3B-Instruct заявляют понимание текстов и таблиц в изображениях и возможность структурированного извлечения из сканов счетов и форм [s2](#src-s2). Это заявленная возможность, не гарантия точности для русских счетов. Если нужен только печатный текст с дальнейшей проверкой, сравните [специализированные OCR-подходы](/zhurnal/ocr-modeli/) с VLM на одних и тех же сканах.

- **Аудиозапись → текст.** Начните с [локального распознавания речи](/zhurnal/raspoznavanie-rechi-lokalno/): Whisper выполняет транскрибацию и определение языка [s3](#src-s3). Текстовый ответ на вопрос по аудио требует отдельной проверки возможностей конкретной модели или следующего шага после транскрипции; [Qwen3-ASR](/zhurnal/qwen3-asr/) — ещё одна страница для выбора speech-модели.

- **Видео → вопрос о событиях.** Карточка Qwen2.5-VL-3B-Instruct заявляет поддержку видео и поиск событий во времени [s2](#src-s2). Не переносите это свойство автоматически на все VLM или на каждый backend: подтвердите поддержку видео и способ подачи кадров в документации выбранной модели и runtime. На коротком фрагменте с известным событием сравните ответ и указанный момент с оригиналом.

## Модель, железо и способ запуска: что проверять?

Укажите точный репозиторий/ревизию весов, тип входа, формат и runtime. Карточка **Qwen2.5-VL-3B-Instruct** — пример модели для изображения и видео по заявлению автора, а не универсальная рекомендация к установке или результат теста Modelium [s2](#src-s2). Для локальной задачи с одним изображением [гайд Ollama Vision API](/zhurnal/ollama-vision-api/) даёт конкретный следующий шаг; альтернатива — [мультимодальный API llama.cpp](/zhurnal/llama-cpp-multimodal-api/). Само наличие API `/api/chat` и поля `images` говорит о способе передачи данных, но реальная поддержка и результат зависят от модели [s4](#src-s4) [s5](#src-s5).

Не выводите минимальные RAM/VRAM из размера файла весов или имени «3B». Для запущенного экземпляра Ollama `/api/ps` показывает `size_vram`, `size` и `context_length`; это **наблюдаемое состояние** на конкретном устройстве, а не универсальный аппаратный минимум [s6](#src-s6). До подбора железа нужно знать выбранный квант, длину входа, число изображений/кадров и одновременных запросов; сравнение вариантов на своём устройстве остаётся обязательным. Условий коммерческого использования название «открытые веса» само по себе не задаёт: читайте лицензию точной ревизии модели.

## Как подтвердить результат, а не просто получить ответ?

- Возьмите один тестовый кадр со знакомыми деталями: например, скан с двумя реквизитами и суммой. Не подавайте реальные чувствительные документы в непроверенную конфигурацию.

- Сверьте по документации, что *конкретная* модель принимает изображение, а runtime умеет передавать его именно в этом формате. В Ollama это запрос чата с текстом и `images`; готовый маршрут проверки — [гайд по Vision API](/zhurnal/ollama-vision-api/) [s4](#src-s4) [s5](#src-s5).

- Задайте вопрос о двух видимых деталях и одной детали, которой на кадре нет. Сравните каждый ответ с исходным изображением; отсутствие детали должно остаться неопределённостью, а не уверенной выдумкой. Для документов вручную сверяйте номер, дату, сумму и структуру таблицы до записи в учётную систему.

- Запишите модель/ревизию, runtime, устройство, входной файл, ожидаемые и фактические поля. Для контроля размещения проверьте состояние загрузки через `/api/ps` после запроса [s6](#src-s6). Изменяйте модель или настройки только после сохранения исходного результата на том же входе.

**Основной следующий шаг:** [откройте локальный гайд Ollama Vision API](/zhurnal/ollama-vision-api/) и сравните ответ vision-модели с собственным контрольным изображением. Для речи и видео не подменяйте эту проверку текстом: выбирайте соответствующий вход и отдельно подтверждайте его поддержку конкретной версией [s1](#src-s1) [s2](#src-s2) [s3](#src-s3).

## Источники

1. [Hugging Face Transformers v4.57.1 — Multimodal chat templates](https://huggingface.co/docs/transformers/v4.57.1/chat_templating_multimodal) — получено 2026-10-02
2. [Qwen — Qwen2.5-VL-3B-Instruct model card at revision](https://huggingface.co/Qwen/Qwen2.5-VL-3B-Instruct/blob/66285546d2b821cf421d4f5eb2576359d3770cd3/README.md) — получено 2026-10-02
3. [OpenAI Whisper — README at pinned commit](https://github.com/openai/whisper/blob/f50c4f264e072d17da320fb7266ef55f791fcc35/README.md) — получено 2026-10-02
4. [Ollama — Vision](https://docs.ollama.com/capabilities/vision) — получено 2026-10-02
5. [Ollama — Generate a chat message API](https://docs.ollama.com/api/chat) — получено 2026-10-02
6. [Ollama — List running models API](https://docs.ollama.com/api/ps) — получено 2026-10-02
7. [Hugging Face Transformers v4.57.1 — Image-text-to-text](https://huggingface.co/docs/transformers/v4.57.1/tasks/image_text_to_text) — получено 2026-10-02