# FLUX.2 klein 4B в OpenVINO INT4: локальная генерация изображений на CPU

Источник: https://modelium.tech/zhurnal/flux2-klein-4b-openvino-int4-cpu/

29 сентября 2026 года автор HelloSun выложил конверсию FLUX.2 klein 4B для OpenVINO: трансформер и текстовый энкодер с весами INT4, VAE с INT8. В репозитории есть четыре бинарных компонента, конфигурация и пример загрузки через Optimum Intel. На серверном Xeon автор получил около 34–40 секунд на изображение 1024×1024 за четыре шага; это не проверка Modelium и не ориентир для обычного домашнего CPU. Исходная модель распространяется по Apache 2.0, а производная помечена этой лицензией в карточке.

FLUX.2 klein 4B в OpenVINO INT4: что получил CPU-пользователь

29 сентября 2026 года на Hugging Face появился сторонний пакет **HelloSun/FLUX.2-klein-4B-OpenVINO-INT4**. История репозитория показывает загрузку OpenVINO-модели в 07:06 UTC и последующую загрузку примеров и отчёта. Это конверсия уже существующей FLUX.2 [klein] 4B от Black Forest Labs, а не новая базовая модель. [s1](#src-s1) [s2](#src-s2)

## Что именно скачивается

Закреплённое дерево содержит четыре `openvino_model.bin` вместе с XML-графами, `model_index.json`, токенизатором и планировщиком. Бинарники трансформера и текстового энкодера занимают соответственно 2 013 667 900 и 2 289 393 757 байт; отдельно лежат VAE-энкодер и декодер. Полнота этих четырёх компонентов проверена по дереву репозитория. Показанный размер файлов **не является минимальным требованием к RAM**: загрузка, компиляция графов и активации потребляют дополнительную память. [s1](#src-s1) [s3](#src-s3)

По карточке автора и `openvino_config.json`, веса трансформера и текстового энкодера квантованы асимметрично до INT4 с группой 128; для оставшихся компонентов автор описывает INT8. В модели сохранён класс `Flux2KleinPipeline`, а скрипты конверсии и инференса предоставлены в том же репозитории. Пакет нацелен на OpenVINO/Optimum Intel, а не на GGUF, Ollama или нативный Diffusers-запуск без конверсии. [s1](#src-s1) [s3](#src-s3)

Исходный репозиторий Black Forest Labs содержит текст Apache License 2.0 и открытую модель; производный репозиторий HelloSun помечен `apache-2.0` в метаданных, но отдельного файла LICENSE в его дереве на момент проверки нет. Это открытые для скачивания сконвертированные веса и опубликованные скрипты, не свидетельство, что автор передал права на сторонние компоненты или что Modelium проверил юридическую цепочку распространения. Если вы сами распространяете пакет дальше, соблюдайте требования лицензии исходной модели о копии лицензии и уведомлениях. [s1](#src-s1) [s4](#src-s4)

## Замеры автора и их границы

**По данным автора**, на Intel Xeon Platinum 8559C с 96 физическими ядрами и OpenVINO 2026.4.0 пять примеров размером 1024×1024 при четырёх шагах и `guidance_scale=1.0` создавались за 34,02–39,83 секунды. В отчёте указан RSS процесса примерно 12,3–14,6 ГБ во время этих прогонов; это измерение конкретного серверного процесса, **не минимальная конфигурация и не прогноз для настольного CPU**. Автор сравнивает около 15 ГБ FP16-бинарников трансформера и текстового энкодера с примерно 4,2 ГБ их INT4-вариантов на диске. Независимого сравнения качества с FP16 или теста Modelium нет. Иллюстрации 512×512 в отчёте — уменьшенные копии результатов 1024×1024, а не отдельный более быстрый прогон. [s1](#src-s1) [s5](#src-s5)

## Как попробовать локально

Карточка закрепляет `diffusers==0.37.1`, `transformers==4.57.6`, `optimum-intel==2.2.0`, `optimum==2.3.0`, `openvino==2026.4.0`, `nncf==3.4.0` и другие зависимости; установка и скачивание весов требуют доступного диска и интернета. В новом Python-окружении ориентируйтесь на полный список версий в закреплённой карточке. Затем загрузите модель через `from optimum.intel import OVDiffusionPipeline` и `OVDiffusionPipeline.from_pretrained("HelloSun/FLUX.2-klein-4B-OpenVINO-INT4", compile=True)`. Для первого пробного изображения автор задаёт четыре шага, `guidance_scale=1.0` и 1024×1024; пример есть в README. Эти инструкции проверены по опубликованному коду и конфигурации, но мы не запускали пакет на своей машине. [s1](#src-s1) [s3](#src-s3)

Файл `inference_int4.py` в репозитории **по умолчанию** загружает модель из абсолютного пути `/home/user/app/flux-2-klein-4b-ov-int4`. Если использовать этот скрипт на другой машине, сначала скачайте репозиторий и укажите его локальный путь через `--model-dir`; иначе удобнее использовать приведённый в карточке прямой вызов `from_pretrained` по ID. Сначала оцените фактическую память и скорость на своём CPU, затем отдельно сравните нужные вам сюжеты с исходной моделью. [s1](#src-s1) [s6](#src-s6)

Итог: это готовый к скачиванию формат для локальных экспериментов с генерацией на OpenVINO CPU. За уменьшение дискового пакета нельзя автоматически обещать такую же экономию оперативной памяти, качество FP16 или время генерации на обычном ПК. [s1](#src-s1) [s5](#src-s5)

## Источники

1. [HelloSun FLUX.2 klein 4B OpenVINO INT4 — закреплённая карточка и файлы](https://huggingface.co/HelloSun/FLUX.2-klein-4B-OpenVINO-INT4/tree/a59494081e4062897d1cd6f27ac8db02791b2381) — получено 2026-09-29
2. [История загрузки OpenVINO INT4-конверсии](https://huggingface.co/api/models/HelloSun/FLUX.2-klein-4B-OpenVINO-INT4/commits/main?limit=8) — получено 2026-09-29
3. [Машинно-читаемая OpenVINO-конфигурация и манифест дерева](https://huggingface.co/HelloSun/FLUX.2-klein-4B-OpenVINO-INT4/blob/a59494081e4062897d1cd6f27ac8db02791b2381/openvino_config.json) — получено 2026-09-29
4. [Лицензия исходной FLUX.2 klein 4B](https://huggingface.co/black-forest-labs/FLUX.2-klein-4B/blob/e7b7dc27f91deacad38e78976d1f2b499d76a294/LICENSE.md) — получено 2026-09-29
5. [Отчёт автора и JSON авторского бенчмарка](https://huggingface.co/HelloSun/FLUX.2-klein-4B-OpenVINO-INT4/blob/a59494081e4062897d1cd6f27ac8db02791b2381/REPORT.md) — получено 2026-09-29
6. [Авторский скрипт локального запуска](https://huggingface.co/HelloSun/FLUX.2-klein-4B-OpenVINO-INT4/blob/a59494081e4062897d1cd6f27ac8db02791b2381/inference_int4.py) — получено 2026-09-29