Ming-Image 0.1 Design: открытые веса для графики и разложения изображения на слои

Зачем это для локального запуска

Обычный генератор отдаёт плоское изображение. Здесь можно отдельно создать дизайн и затем попробовать разложить его на прозрачные элементы: это полезно, когда текст, фон и главный объект нужно менять в графическом редакторе независимо. Разложение — результат работы модели, а не доступ к исходному проекту дизайнера: совпадение с настоящими исходными слоями и точность текста не гарантируются s2 s4.

Авторы показывают галерею и оценку качества разложения на тестовой части Crello; сопоставимых независимых тестов этих чекпойнтов Modelium не проводил. Иллюстрацию UI/UX-лидерборда также следует воспринимать как представленную разработчиком, а не как нашу проверку рейтинга s1 s2.

Как запустить

Официальный репозиторий inclusionAI/Ming-Image требует Python 3.10+, PyTorch с CUDA и предлагает установку pip install -r requirements.txt. Аргумент --model принимает HF ID либо локальный каталог; для воспроизводимости можно закрепить ревизии 1cd7fac3b0dcb54196fe2cd12b80da09edf8fcf4 и 650448783505b103af305ce347bf60d8889e655a через --revision. После загрузки снимка модель можно запускать из локального каталога без обращения к Hub. Код по умолчанию использует eager attention; flash_attention_2 необязателен при наличии совместимой установки s4.

Для генерации разработчики приводят команду из каталога репозитория:

python infer.py --model inclusionAI/Ming-Image-0.1-Design \
--task text-to-image \
--prompt assets/t2i_four_seasons_cabin_prompt.json \
--resolution 2048 --output-dir outputs/t2i

Для разложения опубликован пример с исходным изображением и текстовым описанием шести слоёв:

python infer.py --model inclusionAI/Ming-Image-0.1-Design-Layer \
--task layer-decompose \
--input-image assets/layer_samples/card_making_input.png \
--prompt assets/layer_samples/card_making_prompt.txt \
--resolution 1024 --output-dir outputs/layers

Без файла плана можно задать --num-layers N; при наличии --prompt число слоёв берётся из него. Генератор поддерживает рабочие размеры 1024 и 2048 пикселей, модель слоёв — 512 и 1024, сохраняя соотношение сторон исходника. Рекомендации авторов: 12 шагов для обеих задач, CFG 1.0 для генерации и 2.0 для разложения s1 s2 s4.

Ограничение по железу: авторы называют одну CUDA GPU с 80 ГиБ видеопамяти проверенной конфигурацией для обеих моделей в BF16. Это не позволяет утверждать, что 80 ГиБ необходимы для каждого размера, квантизации или возможного offload; подтверждённых ими режимов для обычной потребительской видеокарты в инструкции нет. Мы не запускали эти модели и не измеряли потребление памяти либо скорость s1 s2 s4.