NVIDIA открыла веса PixelUMM: единая модель для изображений и видео

NVIDIA выложила на Hugging Face веса PixelUMM — исследовательской модели, которая работает с текстом, изображениями и видео без отдельного предварительно обученного визуального энкодера или VAE. Репозиторий модели появился 1 октября 2026 года по HF API; официальный GitHub с кодом обновлён в тот же день. Публикация весов — событие, а не свидетельство, что Modelium запускал модель. s1 s2

Что можно делать локально

Авторы заявляют четыре направления: текст → изображение, текст → видео, описание изображения и ответы по видео. Архитектура использует Qwen3-8B как языковую основу, 16×16 RGB-патчи и общий Transformer; в карточке указано около 15,2 млрд параметров. Это не универсальный плагин для Ollama или LM Studio: официальный путь — отдельный Python-проект с NVIDIA GPU, Linux x86-64, Python 3.12, CUDA 13 и собираемым FlashAttention. Для декодирования видео нужны библиотеки FFmpeg. Не следует выводить минимальную VRAM из числа параметров, размера чекпойнта или оборудования для авторского учебного примера. s1 s2 s3

Практический выбор: для экспериментов с одним стеком генерации и визуального понимания изучайте код NVIDIA; для обычного локального чат-интерфейса этот релиз пока не является готовой моделью в типовом каталоге GGUF. В официальном репозитории есть inference.py для каждой из четырёх задач и отдельный проверяющий скрипт check_checkpoint.py. Стандартный чекпойнт S8-F22-R05 поддерживает все четыре задачи; альтернативный F18-R01 не поддерживает понимание видео. В зафиксированной ревизии HF b621a91463d8a438f64c5d0116f42fb13cf26ce7 для F22 присутствуют маркер завершения, метаданные и 128 файлов .distcp; наличие файлов проверено по полному списку siblings, но загрузку и инференс редакция не проводила. s1 s2 s4

Важная оговорка перед загрузкой. В CHECKPOINT.md исходников закреплена ревизия HF 81d810cf5ba9cd7796079cd40ae32c677e34cd44, которая на момент проверки 2 октября (МСК) возвращала HTTP 404. Текущий подтверждённый снимок модели имеет другой SHA, указанный выше. Поэтому не копируйте команду загрузки из документации без повторной сверки ревизии; наличие файлов в HF само по себе не подтверждает совместимость всех тензоров или успешный запуск на вашей GPU. Для Qwen3-8B в официальной инструкции нужны только конфигурация и токенизатор, не второй комплект весов. s1 s4

Права и ограничения

Код и веса лицензированы по-разному. Основной код GitHub указан под Apache-2.0, но файл modeling/pixelumm/modeling_utils.py содержит собственное уведомление CC BY-NC 4.0. Чекпойнт отдельно под NVIDIA One-Way Noncommercial License: только некоммерческие исследования и оценка; доступные веса не означают разрешения на коммерческое применение. Авторы отдельно предупреждают, что модель не проверена для production и критических сценариев. s1 s2

Для генерации видео стандартная одиночная команда включает защитные проверки Cosmos: нужный guardrail-чекпойнт запрашивается отдельно и может требовать принятия условий доступа. Пакетный вход, генерация изображений и задачи понимания этим конкретным механизмом автоматически не покрываются. Не считайте отсутствие ошибки защитного фильтра гарантией безопасности результата. s5

Следующий шаг: начните с лицензии весов и ENVIRONMENT.md, затем проверьте актуальную ревизию HF и комплектность S8-F22-R05 перед загрузкой. Выполнение авторского check_checkpoint.py на CPU проверяет файлы и формы тензоров, но не доказывает работоспособность на конкретной GPU. s3 s4