Realtime-Venus: два локальных 9B-чекпойнта для full-duplex аудио и видео

Какие веса опубликованы

В закреплённой ревизии 5f0742d6ffbf99a7858b5abb030325953f4979f0 находятся два каталога с весами и пользовательским кодом Transformers:

• Realtime-Venus-Omni — аудио-визуальная модель: принимает видео или изображения, аудио и текст, а отвечает текстом и, при включённом синтезе, речью;
• Realtime-Venus-Audio — вариант без визуального входа для понимания речи и потокового голосового диалога.

Авторы указывают для обеих моделей 9 млрд параметров, BF16-веса и контекст 40 960 токенов. Языковой backbone — Qwen3-8B, аудиоэнкодер — Whisper-Medium; Omni дополнительно использует SigLIP2. У каждого чекпойнта опубликованы четыре Safetensors-шарда. Это подтверждает наличие загружаемых весов, но число и размер файлов нельзя превращать в универсальное требование к RAM или VRAM. s1 s2

Что означает full-duplex

Обычный голосовой ассистент работает по очереди: сначала слушает законченную реплику, затем отвечает. Realtime-Venus использует общую временную шкалу входов и выходов. В потоковом режиме аудио и кадры подаются порциями, а модель на каждом шаге решает, продолжать слушать или начать ответ. По описанию авторов, это позволяет обрабатывать перебивания, уточнения, обращения к другому человеку и фоновые реплики без полного перезапуска диалога. s1

Omni также получила режим проактивного взаимодействия: модель непрерывно анализирует синхронизированные видео и аудио и может начать ответ при значимом событии без отдельного текстового запроса. Для длинного видео предусмотрена память без дополнительного обучения: она сохраняет информативные моменты и извлекает релевантный контекст перед ответом. Это возможности, заявленные разработчиками; Modelium не проводил собственного тестирования качества или задержки. s1

Локальный запуск

Официальная инструкция рассчитана на Python 3.10, CUDA и FFmpeg. Веса загружаются в локальные каталоги, после чего модель запускается через AutoModel.from_pretrained с local_files_only=True, BF16 и trust_remote_code=True. Последний параметр означает исполнение пользовательского Python-кода из репозитория, поэтому перед установкой разумно закрепить ревизию и проверить код и зависимости. s1

Для Omni опубликованы примеры потокового видео- и аудиодиалога, офлайн-режима и длинной памяти. Для Audio есть обычный вопрос по аудиофайлу и full-duplex обработка потока с генерацией речи. Карточка не называет минимальную модель GPU, объём VRAM или универсальную скорость на пользовательском железе. Наличие CUDA в инструкции означает, что готовый официальный путь ориентирован на NVIDIA GPU; CPU-only и другие ускорители не подтверждены этой инструкцией. s1

Инструменты работают через отдельный Harness

Realtime-Venus может выдавать событие делегирования, не останавливая разговор, но фактическое выполнение внешней задачи делает отдельный Realtime-Venus-Harness. Он опубликован в официальном GitHub-репозитории и координирует живой диалог с фоновым reasoning и вызовами инструментов. 22 сентября разработчики добавили отдельные настройки для Audio-, Omni-демо и Harness. Следовательно, одних весов из Hugging Face достаточно для базового локального инференса, но не для полного сценария асинхронного агента. s1 s4

Лицензия и коммерческое использование

Корневой репозиторий и оба чекпойнта распространяются под Apache License 2.0. NOTICE-файлы указывают, что код произведён от MiniCPM-o 4.5, который также опубликован под Apache-2.0. Лицензия разрешает коммерческое использование, модификацию и распространение при соблюдении её условий, включая сохранение необходимых уведомлений и текста лицензии. Карточка отдельно напоминает проверять лицензии сторонних библиотек и любых данных, которые пользователь подаёт модели. s3

Это открытые веса и открытый код, но готовое приложение всё равно должно учитывать лицензии FFmpeg, Python-зависимостей, голосовых и медиафайлов, а также правила обработки пользовательских аудио- и видеоданных.

Как читать результаты авторов

В техническом отчёте авторы сравнивают Realtime-Venus с другими онлайн-моделями на видео-, аудио- и full-duplex тестах. Среди заявленных результатов: 70,2% на StreamingBench для Omni, 78,0% на MMAU для Audio и реакция на 75% пользовательских перебиваний в Full-Duplex-Bench v1.5. Это результаты команды Realtime-Venus в описанных ею условиях, а не независимое воспроизведение Modelium. s5

Практический вывод

Realtime-Venus полезна как исследовательская основа для локального голосового или аудио-визуального ассистента, которому нужно продолжать слушать во время ответа, поддерживать речь и работать с длинным видео. Начинать стоит с Audio, если камера не нужна: у него меньше компонентов инференса и проще входной поток. Omni имеет смысл для наблюдения за видео и проактивных реакций. Для воспроизводимости закрепляйте ревизию, проверяйте trust_remote_code, а требования к железу определяйте собственным пробным запуском — авторы минимальную конфигурацию не заявили.