# NVIDIA открыла веса PixelUMM: единая модель для изображений и видео

Источник: https://modelium.tech/zhurnal/nvidia-pixelumm-open-weights-image-video-noncommercial/

NVIDIA выложила веса PixelUMM и исходники для локального исследования генерации и понимания изображений и видео. Это экспериментальная модель с отдельным CUDA-стеком; веса доступны без заявки, но лицензия разрешает только некоммерческое исследование и оценку. Инструкция по загрузке содержит несуществующую закреплённую ревизию HF, поэтому её команду нельзя запускать без проверки.

NVIDIA выложила на Hugging Face веса **PixelUMM** — исследовательской модели, которая работает с текстом, изображениями и видео без отдельного предварительно обученного визуального энкодера или VAE. Репозиторий модели появился 1 октября 2026 года по HF API; официальный GitHub с кодом обновлён в тот же день. Публикация весов — событие, а не свидетельство, что Modelium запускал модель. [s1](#src-s1) [s2](#src-s2)

## Что можно делать локально

Авторы заявляют четыре направления: текст → изображение, текст → видео, описание изображения и ответы по видео. Архитектура использует Qwen3-8B как языковую основу, 16×16 RGB-патчи и общий Transformer; в карточке указано около 15,2 млрд параметров. Это не универсальный плагин для Ollama или LM Studio: официальный путь — отдельный Python-проект с NVIDIA GPU, Linux x86-64, Python 3.12, CUDA 13 и собираемым FlashAttention. Для декодирования видео нужны библиотеки FFmpeg. Не следует выводить минимальную VRAM из числа параметров, размера чекпойнта или оборудования для авторского учебного примера. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

Практический выбор: для экспериментов с одним стеком генерации и визуального понимания изучайте код NVIDIA; для обычного локального чат-интерфейса этот релиз пока не является готовой моделью в типовом каталоге GGUF. В официальном репозитории есть `inference.py` для каждой из четырёх задач и отдельный проверяющий скрипт `check_checkpoint.py`. Стандартный чекпойнт **S8-F22-R05** поддерживает все четыре задачи; альтернативный F18-R01 не поддерживает понимание видео. В зафиксированной ревизии HF `b621a91463d8a438f64c5d0116f42fb13cf26ce7` для F22 присутствуют маркер завершения, метаданные и 128 файлов `.distcp`; наличие файлов проверено по полному списку `siblings`, но загрузку и инференс редакция не проводила. [s1](#src-s1) [s2](#src-s2) [s4](#src-s4)

**Важная оговорка перед загрузкой.** В `CHECKPOINT.md` исходников закреплена ревизия HF `81d810cf5ba9cd7796079cd40ae32c677e34cd44`, которая на момент проверки 2 октября (МСК) возвращала HTTP 404. Текущий подтверждённый снимок модели имеет другой SHA, указанный выше. Поэтому не копируйте команду загрузки из документации без повторной сверки ревизии; наличие файлов в HF само по себе не подтверждает совместимость всех тензоров или успешный запуск на вашей GPU. Для Qwen3-8B в официальной инструкции нужны только конфигурация и токенизатор, не второй комплект весов. [s1](#src-s1) [s4](#src-s4)

## Права и ограничения

**Код и веса лицензированы по-разному.** Основной код GitHub указан под Apache-2.0, но файл `modeling/pixelumm/modeling_utils.py` содержит собственное уведомление CC BY-NC 4.0. Чекпойнт отдельно под NVIDIA One-Way Noncommercial License: только некоммерческие исследования и оценка; доступные веса не означают разрешения на коммерческое применение. Авторы отдельно предупреждают, что модель не проверена для production и критических сценариев. [s1](#src-s1) [s2](#src-s2)

Для генерации видео стандартная одиночная команда включает защитные проверки Cosmos: нужный guardrail-чекпойнт запрашивается отдельно и может требовать принятия условий доступа. Пакетный вход, генерация изображений и задачи понимания этим конкретным механизмом автоматически не покрываются. Не считайте отсутствие ошибки защитного фильтра гарантией безопасности результата. [s5](#src-s5)

**Следующий шаг:** начните с лицензии весов и `ENVIRONMENT.md`, затем проверьте актуальную ревизию HF и комплектность S8-F22-R05 перед загрузкой. Выполнение авторского `check_checkpoint.py` на CPU проверяет файлы и формы тензоров, но не доказывает работоспособность на конкретной GPU. [s3](#src-s3) [s4](#src-s4)

## Источники

1. [NVIDIA PixelUMM — карточка модели и перечень файлов, ревизия b621a914](https://huggingface.co/nvidia/PixelUMM/tree/b621a91463d8a438f64c5d0116f42fb13cf26ce7) — получено 2026-10-02
2. [Официальный репозиторий PixelUMM, закреплённый коммит 429cbeb7](https://github.com/nv-tlabs/PixelUMM/tree/429cbeb7ce75447b56d75fe1806618abb3348d77) — получено 2026-10-02
3. [PixelUMM: требования к CUDA-среде](https://github.com/nv-tlabs/PixelUMM/blob/429cbeb7ce75447b56d75fe1806618abb3348d77/ENVIRONMENT.md) — получено 2026-10-02
4. [PixelUMM: загрузка и проверка чекпойнта](https://github.com/nv-tlabs/PixelUMM/blob/429cbeb7ce75447b56d75fe1806618abb3348d77/CHECKPOINT.md) — получено 2026-10-02
5. [PixelUMM: ограничения Cosmos guardrails](https://github.com/nv-tlabs/PixelUMM/blob/429cbeb7ce75447b56d75fe1806618abb3348d77/GUARDRAILS.md) — получено 2026-10-02