FLUX.2 klein 4B в OpenVINO INT4: локальная генерация изображений на CPU

Что именно скачивается

Закреплённое дерево содержит четыре openvino_model.bin вместе с XML-графами, model_index.json, токенизатором и планировщиком. Бинарники трансформера и текстового энкодера занимают соответственно 2 013 667 900 и 2 289 393 757 байт; отдельно лежат VAE-энкодер и декодер. Полнота этих четырёх компонентов проверена по дереву репозитория. Показанный размер файлов не является минимальным требованием к RAM: загрузка, компиляция графов и активации потребляют дополнительную память. s1 s3

По карточке автора и openvino_config.json, веса трансформера и текстового энкодера квантованы асимметрично до INT4 с группой 128; для оставшихся компонентов автор описывает INT8. В модели сохранён класс Flux2KleinPipeline, а скрипты конверсии и инференса предоставлены в том же репозитории. Пакет нацелен на OpenVINO/Optimum Intel, а не на GGUF, Ollama или нативный Diffusers-запуск без конверсии. s1 s3

Исходный репозиторий Black Forest Labs содержит текст Apache License 2.0 и открытую модель; производный репозиторий HelloSun помечен apache-2.0 в метаданных, но отдельного файла LICENSE в его дереве на момент проверки нет. Это открытые для скачивания сконвертированные веса и опубликованные скрипты, не свидетельство, что автор передал права на сторонние компоненты или что Modelium проверил юридическую цепочку распространения. Если вы сами распространяете пакет дальше, соблюдайте требования лицензии исходной модели о копии лицензии и уведомлениях. s1 s4

Замеры автора и их границы

По данным автора, на Intel Xeon Platinum 8559C с 96 физическими ядрами и OpenVINO 2026.4.0 пять примеров размером 1024×1024 при четырёх шагах и guidance_scale=1.0 создавались за 34,02–39,83 секунды. В отчёте указан RSS процесса примерно 12,3–14,6 ГБ во время этих прогонов; это измерение конкретного серверного процесса, не минимальная конфигурация и не прогноз для настольного CPU. Автор сравнивает около 15 ГБ FP16-бинарников трансформера и текстового энкодера с примерно 4,2 ГБ их INT4-вариантов на диске. Независимого сравнения качества с FP16 или теста Modelium нет. Иллюстрации 512×512 в отчёте — уменьшенные копии результатов 1024×1024, а не отдельный более быстрый прогон. s1 s5

Как попробовать локально

Карточка закрепляет diffusers==0.37.1, transformers==4.57.6, optimum-intel==2.2.0, optimum==2.3.0, openvino==2026.4.0, nncf==3.4.0 и другие зависимости; установка и скачивание весов требуют доступного диска и интернета. В новом Python-окружении ориентируйтесь на полный список версий в закреплённой карточке. Затем загрузите модель через from optimum.intel import OVDiffusionPipeline и OVDiffusionPipeline.from_pretrained("HelloSun/FLUX.2-klein-4B-OpenVINO-INT4", compile=True). Для первого пробного изображения автор задаёт четыре шага, guidance_scale=1.0 и 1024×1024; пример есть в README. Эти инструкции проверены по опубликованному коду и конфигурации, но мы не запускали пакет на своей машине. s1 s3

Файл inference_int4.py в репозитории по умолчанию загружает модель из абсолютного пути /home/user/app/flux-2-klein-4b-ov-int4. Если использовать этот скрипт на другой машине, сначала скачайте репозиторий и укажите его локальный путь через --model-dir; иначе удобнее использовать приведённый в карточке прямой вызов from_pretrained по ID. Сначала оцените фактическую память и скорость на своём CPU, затем отдельно сравните нужные вам сюжеты с исходной моделью. s1 s6

Итог: это готовый к скачиванию формат для локальных экспериментов с генерацией на OpenVINO CPU. За уменьшение дискового пакета нельзя автоматически обещать такую же экономию оперативной памяти, качество FP16 или время генерации на обычном ПК. s1 s5