Youtu-Parsing-Omni 5B: Tencent открыла веса модели для документов, аудио и видео

Что появилось сейчас

В официальном репозитории есть один файл весов model.safetensors, настройки модели и код, а в GitHub — примеры и отдельный модуль для запуска. Карточка называет модель 5B; метаданные опубликованного файла указывают около 5,33 млрд параметров. Файл весов занимает около 10,67 ГБ на диске, но из этого нельзя выводить требование к оперативной или видеопамяти. s1 s2

Модель должна возвращать JSON — структурированный текст, который другая программа может разобрать по полям. Для документа это могут быть текст, таблицы и порядок чтения; для аудио и видео — фрагменты с отметками времени. Например, в результате обработки страницы счёта можно искать сумму и дату, а затем обязательно сверить их с самим счётом. Это пример задачи, не фактический ответ модели в тесте Modelium. s1

Кому это пригодится и что требуется

В первую очередь это вариант для разработчика, которому нужно обрабатывать разные виды файлов локально и получать единый формат результата. Авторы опубликовали путь через vLLM с собственным модулем и отдельный путь через Transformers; оба подразумевают техническую настройку, а официальный сценарий использует CUDA — вычисления на видеокарте NVIDIA. Для двух путей документация предписывает разные окружения с несовместимыми версиями зависимостей. Проверенного простого домашнего рецепта и официального минимального объёма памяти нет. s2

После загрузки весов и зависимостей обработка заявлена на собственном компьютере, однако Modelium не проверял запуск, отключение сети и качество ответа на своих файлах. Не считайте пример разработчика доказательством, что ваш ноутбук справится. s1 s2

Что означают результаты и лицензия

Tencent приводит авторские показатели 96,96 в OmniDocBench v1.6 для документов и 75,08 в OmniParsingBench для набора других задач. Это разные испытания, а не две оценки на одной шкале; независимого воспроизведения редакцией нет. Текст, числа и расположение элементов в важных документах нужно сверять с оригиналом. s1

Веса доступны для загрузки, но условия их использования — собственная лицензия Youtu-Parsing, не Apache-2.0. Её текст отдельно говорит, что продукт не предназначен для использования в Европейском союзе; условия и лицензии сторонних компонентов нужно прочитать перед применением. Доступность весов не равна отсутствию ограничений на применение. s3

Если вам нужно прежде всего распознавать страницы PDF, а не аудио и видео, сравните задачу с LightOnOCR 3. Для Youtu-Parsing-Omni начните с официальной карточки и лицензии; пока это выбор для опытной настройки, а не обещание работы на любом домашнем ПК. s1 s3