Перейти к содержанию
modelium.
Начать с задачи
←
Новость

Hy-SimulMT: открыты веса для перевода речи в реальном времени

На странице · 4 разделов

Tencent выпустила Hy-SimulMT — модель для перевода звучащей речи между китайским и английским по мере разговора. Веса и код для самостоятельного развёртывания доступны, но это пока технический серверный проект, а не простая программа для домашнего компьютера. Озвучивание перевода и копирование голоса требуют отдельного сервиса синтеза речи.

Hy-SimulMT: перевод речи во время разговора — что доступно локально

Если вам нужно понимать выступление на китайском, не дожидаясь конца записи, Tencent представила Hy-SimulMT. Модель принимает звучащую речь частями и выдаёт перевод на английском; обратное направление тоже заявлено. Официальная дата выпуска — 26 октября 2026 года. Веса и проектный код опубликованы, но самостоятельная установка рассчитана на технического специалиста с Linux-сервером и NVIDIA GPU, а не на обычный домашний ноутбук. s1 s2

Что именно можно получить сейчас?

Есть два основных варианта 30B-A3B: один выдаёт перевод, другой, Interleave, показывает также исходный текст. В репозиториях Tencent опубликованы файлы весов для обоих; у Interleave индекс перечисляет основные части модели и отдельный файл аудиомодуля. Также доступны GGUF-файлы — формат для ряда программ локального запуска. Однако поддержка именно этой модели в официальном llama.cpp ещё не объединена: авторы предупреждают не считать GGUF готовой командой для штатного llama.cpp. s1 s3 s4

Для получения текста Tencent предлагает SimulInfer с vLLM — программой для обслуживания модели на своём сервере. Веб-страница принимает звук с микрофона или файл. Документация указывает Linux, Python 3.12+, совместимый драйвер CUDA и NVIDIA GPU с достаточным объёмом памяти, но не называет универсальный минимум видеопамяти. Это инженерный путь, не проверенный запуском редакции. s2 s5

Озвучивание результата и сохранение похожего голоса не входят в один только скачанный чекпойнт: нужно отдельно настроить TTS, сервис превращения текста в речь. Без него не стоит обещать двусторонний голосовой перевод на локальном компьютере. Мобильное приложение Hy Translate авторы предлагают как другой способ попробовать систему, но наличие приложения само по себе не доказывает, что весь процесс на телефоне выполняется без сети. s1 s2

Насколько быстрый перевод?

Tencent сообщает о задержке StreamLAAL около трёх секунд в сравнении на длинных записях RealSI. Это авторская оценка отставания перевода от исходной речи, а не время до первой озвученной фразы и не замер Modelium. В отдельном сравнении участвовали 18 записей примерно по шесть минут и шесть переводчиков; его выводы относятся к этим записям и участникам, а не гарантируют качество любого эфира. s1

Кому стоит присмотреться?

Разработчику, которому нужен собственный потоковый перевод китайский ↔ английский и который готов обслуживать модель и, при необходимости, отдельную озвучку. Если ваша задача — простой перевод русской записи на домашнем ПК, эта новость не является готовой инструкцией: перечисление языков в метаданных модели не подтверждает полноценный голосовой режим для всех этих языков. Первый разумный шаг — изучить официальное руководство SimulInfer и проверить доступные ресурсы, прежде чем загружать тяжёлый чекпойнт. s1 s2

Что с правами?

Карточки основных весов помечены Apache-2.0; отдельный файл лицензии Tencent прямо распространяет её на опубликованные параметры, веса и код для инференса с оговоркой о правах сторонних компонентов. Это не лицензия на любые дополнительные TTS-модели или мобильное приложение: их условия нужно проверять отдельно. s3 s6

Источники