# MiMo-V2.6-Pro-RL получила GGUF: семь шардов MXFP4 и Q2_K для llama.cpp

Источник: https://modelium.tech/zhurnal/mimo-v2-6-pro-gguf-mxfp4-q2k-llama-cpp/

2 октября 2026 года ggml-org опубликовала GGUF-конверсию MiMo-V2.6-Pro-RL: по семь шардов MXFP4 и Q2_K, а также отдельные файлы для MTP, DFlash и мультимодального проектора. Веса доступны без заявки, но это конверсия уже существующей модели Xiaomi, а не новый базовый релиз. По одному лишь наличию файлов нельзя обещать запуск на конкретном оборудовании или ускорение; для DFlash нужна сборка llama.cpp с изменением после стабильной v0.5.0.

## Что появилось 2 октября

Команда ggml-org выложила **MiMo-V2.6-Pro-RL-GGUF** 2 октября 2026 года. Это готовая для экосистемы llama.cpp конверсия уже опубликованной Xiaomi модели Pro-RL, а не новое обучение или обновлённая версия самой Pro. Предыдущий материал Modelium рассматривал исходные Pro/Flash/9B и отдельную GGUF-конверсию **Flash**; здесь речь именно о новом пакете **Pro**. Дата подтверждена временем создания репозитория Hugging Face; закреплённая ревизия — `5f387f5260fc110678396a3076a140c469b41eaa`. [s1](#src-s1) [s2](#src-s2)

В закреплённом полном дереве репозитория находятся **семь файлов MXFP4** и **семь файлов Q2_K**, все номера `00001`–`00007` присутствуют у каждого варианта. Есть отдельные MTP-файлы BF16/Q4_0/Q8_0, DFlash BF16/Q8_0 и мультимодальный `mmproj` BF16/Q8_0. Их наличие подтверждает состав загрузки, но мы не скачивали сотни гигабайт и не запускали модель. Первый шард каждого набора заметно меньше остальных; оценивать полноту по одному первому файлу было бы ошибкой. [s1](#src-s1) [s2](#src-s2)

## Что выбирать и что не обещано

По описанию конвертера, **MXFP4** сохраняет исходную точность routed experts; **Q2_K** оставляет expert down-projections в MXFP4, а gate/up-проекции переводит в Q2_K. Для Q2_K авторы прямо отмечают отсутствие imatrix-калибровки. Это два разных компромисса, но опубликованных независимых сравнений качества именно этих GGUF-пакетов и воспроизведённых Modelium замеров нет. Проверьте ответы на собственном наборе задач до перехода на более агрессивный вариант. [s2](#src-s2)

MiMo-V2.6-Pro-RL — разреженная MoE-модель, которую Xiaomi описывает как 1,02 трлн параметров всего и 42 млрд активных; исходная карточка заявляет текст, изображение, видео и аудио. В новом репозитории есть `mmproj` для зрительного и аудиоэнкодеров, однако наличие файла ещё не доказывает качество или полную работоспособность всех модальностей на вашей сборке. Размер шардов на диске **не равен** минимально требуемой RAM или VRAM; документация не задаёт проверенного порога для этого GGUF. [s2](#src-s2) [s3](#src-s3)

## Версия runtime и права

Карточка ggml-org предлагает `llama serve -hf ggml-org/MiMo-V2.6-Pro-RL-GGUF`. Перед скачиванием такого пакета стоит закрепить ревизию и определить нужную квантизацию, чтобы не полагаться на неописанный здесь автоматический выбор файла. Поддержка конвертации MiMo-V2.6 вошла в стабильную **llama.cpp v0.5.0** от 23 сентября. Однако отдельный PR по feature extraction для MiMo DFlash был слит лишь **30 сентября**: он не входит в v0.5.0, но предшествует ночной сборке b11351 от 2 октября. Поэтому обещать работу DFlash на v0.5.0 нельзя; используйте совместимую более новую сборку и проверяйте результат, если нужен именно этот режим. MTP и DFlash — дополнительные сценарии speculative decoding, а не обязательное условие для обычной генерации. Мы не проверяли запуск или ускорение на реальном оборудовании. [s2](#src-s2) [s4](#src-s4) [s5](#src-s5) [s6](#src-s6)

Обе карточки весов — оригинальной модели Xiaomi и GGUF ggml-org — помечены **MIT**, репозитории доступны без gated-заявки. Отдельного файла `LICENSE` в проверенном списке файлов этих модельных репозиториев нет; лицензию весов не следует смешивать с лицензиями кода, данных и внешних зависимостей. [s1](#src-s1) [s3](#src-s3)

**Практический следующий шаг:** если уже оценивали MiMo-V2.6 Flash в GGUF и вам нужна именно Pro, сопоставьте сценарии на одинаковом тестовом наборе, уточните доступную версию llama.cpp и планируйте ресурсы по собственному профилированию, а не по размеру весовых файлов или числу GPU в серверном рецепте Xiaomi. [s2](#src-s2) [s3](#src-s3)

## Источники

1. [Hugging Face API: ggml-org MiMo-V2.6-Pro-RL-GGUF, ревизия 5f387f52](https://huggingface.co/api/models/ggml-org/MiMo-V2.6-Pro-RL-GGUF/revision/5f387f5260fc110678396a3076a140c469b41eaa) — получено 2026-10-02
2. [ggml-org: карточка GGUF-конверсии Pro-RL, ревизия 5f387f52](https://huggingface.co/ggml-org/MiMo-V2.6-Pro-RL-GGUF/blob/5f387f5260fc110678396a3076a140c469b41eaa/README.md) — получено 2026-10-02
3. [Xiaomi MiMo: карточка исходной Pro-RL, ревизия 73875d00](https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Pro-RL/blob/73875d00b30a89ef8cc353a0b60b0e9f9561952d/README.md) — получено 2026-10-02
4. [ggml-org/llama.cpp: стабильный релиз v0.5.0](https://github.com/ggml-org/llama.cpp/releases/tag/v0.5.0) — получено 2026-10-02
5. [ggml-org/llama.cpp: merged PR #29650 по MiMo DFlash](https://github.com/ggml-org/llama.cpp/pull/29650) — получено 2026-10-02
6. [ggml-org/llama.cpp: nightly b11351](https://github.com/ggml-org/llama.cpp/releases/tag/b11351) — получено 2026-10-02