# Realtime-Venus: два локальных 9B-чекпойнта для full-duplex аудио и видео Источник: https://modelium.tech/zhurnal/realtime-venus-full-duplex-local-audio-video/ inclusionAI опубликовала Realtime-Venus — два локально запускаемых 9B BF16-чекпойнта: Omni для потоковых видео-, аудио- и текстовых входов и Audio для речи. Веса и код доступны под Apache-2.0, запуск описан через Transformers и CUDA. Асинхронные инструменты требуют отдельного Harness, минимальная GPU-конфигурация не заявлена, а все результаты бенчмарков принадлежат авторам. 16 сентября 2026 года inclusionAI открыла репозиторий **Realtime-Venus** с двумя самостоятельными 9B-чекпойнтами для непрерывного взаимодействия: модель может продолжать воспринимать поток, пока формирует ответ, различать перебивания и короткие реплики собеседника, а также выдавать текст и синтезированную речь. Технический отчёт появился на arXiv 12 сентября, а актуальная версия v2 — 18 сентября. [s1](#src-s1) [s5](#src-s5) ## Какие веса опубликованы В закреплённой ревизии `5f0742d6ffbf99a7858b5abb030325953f4979f0` находятся два каталога с весами и пользовательским кодом Transformers: - **Realtime-Venus-Omni** — аудио-визуальная модель: принимает видео или изображения, аудио и текст, а отвечает текстом и, при включённом синтезе, речью; - **Realtime-Venus-Audio** — вариант без визуального входа для понимания речи и потокового голосового диалога. Авторы указывают для обеих моделей 9 млрд параметров, BF16-веса и контекст 40 960 токенов. Языковой backbone — Qwen3-8B, аудиоэнкодер — Whisper-Medium; Omni дополнительно использует SigLIP2. У каждого чекпойнта опубликованы четыре Safetensors-шарда. Это подтверждает наличие загружаемых весов, но число и размер файлов нельзя превращать в универсальное требование к RAM или VRAM. [s1](#src-s1) [s2](#src-s2) ## Что означает full-duplex Обычный голосовой ассистент работает по очереди: сначала слушает законченную реплику, затем отвечает. Realtime-Venus использует общую временную шкалу входов и выходов. В потоковом режиме аудио и кадры подаются порциями, а модель на каждом шаге решает, продолжать слушать или начать ответ. По описанию авторов, это позволяет обрабатывать перебивания, уточнения, обращения к другому человеку и фоновые реплики без полного перезапуска диалога. [s1](#src-s1) Omni также получила режим проактивного взаимодействия: модель непрерывно анализирует синхронизированные видео и аудио и может начать ответ при значимом событии без отдельного текстового запроса. Для длинного видео предусмотрена память без дополнительного обучения: она сохраняет информативные моменты и извлекает релевантный контекст перед ответом. Это возможности, заявленные разработчиками; Modelium не проводил собственного тестирования качества или задержки. [s1](#src-s1) ## Локальный запуск Официальная инструкция рассчитана на Python 3.10, CUDA и FFmpeg. Веса загружаются в локальные каталоги, после чего модель запускается через `AutoModel.from_pretrained` с `local_files_only=True`, BF16 и `trust_remote_code=True`. Последний параметр означает исполнение пользовательского Python-кода из репозитория, поэтому перед установкой разумно закрепить ревизию и проверить код и зависимости. [s1](#src-s1) Для Omni опубликованы примеры потокового видео- и аудиодиалога, офлайн-режима и длинной памяти. Для Audio есть обычный вопрос по аудиофайлу и full-duplex обработка потока с генерацией речи. Карточка не называет минимальную модель GPU, объём VRAM или универсальную скорость на пользовательском железе. Наличие CUDA в инструкции означает, что готовый официальный путь ориентирован на NVIDIA GPU; CPU-only и другие ускорители не подтверждены этой инструкцией. [s1](#src-s1) ## Инструменты работают через отдельный Harness Realtime-Venus может выдавать событие делегирования, не останавливая разговор, но фактическое выполнение внешней задачи делает отдельный **Realtime-Venus-Harness**. Он опубликован в официальном GitHub-репозитории и координирует живой диалог с фоновым reasoning и вызовами инструментов. 22 сентября разработчики добавили отдельные настройки для Audio-, Omni-демо и Harness. Следовательно, одних весов из Hugging Face достаточно для базового локального инференса, но не для полного сценария асинхронного агента. [s1](#src-s1) [s4](#src-s4) ## Лицензия и коммерческое использование Корневой репозиторий и оба чекпойнта распространяются под **Apache License 2.0**. NOTICE-файлы указывают, что код произведён от MiniCPM-o 4.5, который также опубликован под Apache-2.0. Лицензия разрешает коммерческое использование, модификацию и распространение при соблюдении её условий, включая сохранение необходимых уведомлений и текста лицензии. Карточка отдельно напоминает проверять лицензии сторонних библиотек и любых данных, которые пользователь подаёт модели. [s3](#src-s3) Это открытые веса и открытый код, но готовое приложение всё равно должно учитывать лицензии FFmpeg, Python-зависимостей, голосовых и медиафайлов, а также правила обработки пользовательских аудио- и видеоданных. ## Как читать результаты авторов В техническом отчёте авторы сравнивают Realtime-Venus с другими онлайн-моделями на видео-, аудио- и full-duplex тестах. Среди заявленных результатов: 70,2% на StreamingBench для Omni, 78,0% на MMAU для Audio и реакция на 75% пользовательских перебиваний в Full-Duplex-Bench v1.5. Это результаты команды Realtime-Venus в описанных ею условиях, а не независимое воспроизведение Modelium. [s5](#src-s5) ## Практический вывод Realtime-Venus полезна как исследовательская основа для локального голосового или аудио-визуального ассистента, которому нужно продолжать слушать во время ответа, поддерживать речь и работать с длинным видео. Начинать стоит с Audio, если камера не нужна: у него меньше компонентов инференса и проще входной поток. Omni имеет смысл для наблюдения за видео и проактивных реакций. Для воспроизводимости закрепляйте ревизию, проверяйте `trust_remote_code`, а требования к железу определяйте собственным пробным запуском — авторы минимальную конфигурацию не заявили. ## Источники 1. [Realtime-Venus pinned model card](https://huggingface.co/inclusionAI/Realtime-Venus/blob/5f0742d6ffbf99a7858b5abb030325953f4979f0/README.md) — получено 2026-09-22 2. [Realtime-Venus repository metadata and file list](https://huggingface.co/api/models/inclusionAI/Realtime-Venus) — получено 2026-09-22 3. [Realtime-Venus Apache-2.0 license](https://huggingface.co/inclusionAI/Realtime-Venus/blob/5f0742d6ffbf99a7858b5abb030325953f4979f0/LICENSE) — получено 2026-09-22 4. [Realtime-Venus Harness repository at commit 8b445c5](https://github.com/inclusionAI/Realtime-Venus/tree/8b445c528ee6dbc740bf2f7c6cdbc6f07bddf074) — получено 2026-09-22 5. [Realtime-Venus technical report, arXiv 2609.13814v2](https://arxiv.org/abs/2609.13814v2) — получено 2026-09-22