MiMo-V2.6-Pro-RL получила GGUF: семь шардов MXFP4 и Q2_K для llama.cpp
На странице · 3 разделов
2 октября 2026 года ggml-org опубликовала GGUF-конверсию MiMo-V2.6-Pro-RL: по семь шардов MXFP4 и Q2_K, а также отдельные файлы для MTP, DFlash и мультимодального проектора. Веса доступны без заявки, но это конверсия уже существующей модели Xiaomi, а не новый базовый релиз. По одному лишь наличию файлов нельзя обещать запуск на конкретном оборудовании или ускорение; для DFlash нужна сборка llama.cpp с изменением после стабильной v0.5.0.
Что появилось 2 октября
Команда ggml-org выложила MiMo-V2.6-Pro-RL-GGUF 2 октября 2026 года. Это готовая для экосистемы llama.cpp конверсия уже опубликованной Xiaomi модели Pro-RL, а не новое обучение или обновлённая версия самой Pro. Предыдущий материал Modelium рассматривал исходные Pro/Flash/9B и отдельную GGUF-конверсию Flash; здесь речь именно о новом пакете Pro. Дата подтверждена временем создания репозитория Hugging Face; закреплённая ревизия — 5f387f5260fc110678396a3076a140c469b41eaa. s1 s2
В закреплённом полном дереве репозитория находятся семь файлов MXFP4 и семь файлов Q2_K, все номера 00001–00007 присутствуют у каждого варианта. Есть отдельные MTP-файлы BF16/Q4_0/Q8_0, DFlash BF16/Q8_0 и мультимодальный mmproj BF16/Q8_0. Их наличие подтверждает состав загрузки, но мы не скачивали сотни гигабайт и не запускали модель. Первый шард каждого набора заметно меньше остальных; оценивать полноту по одному первому файлу было бы ошибкой. s1 s2
Что выбирать и что не обещано
По описанию конвертера, MXFP4 сохраняет исходную точность routed experts; Q2_K оставляет expert down-projections в MXFP4, а gate/up-проекции переводит в Q2_K. Для Q2_K авторы прямо отмечают отсутствие imatrix-калибровки. Это два разных компромисса, но опубликованных независимых сравнений качества именно этих GGUF-пакетов и воспроизведённых Modelium замеров нет. Проверьте ответы на собственном наборе задач до перехода на более агрессивный вариант. s2
MiMo-V2.6-Pro-RL — разреженная MoE-модель, которую Xiaomi описывает как 1,02 трлн параметров всего и 42 млрд активных; исходная карточка заявляет текст, изображение, видео и аудио. В новом репозитории есть mmproj для зрительного и аудиоэнкодеров, однако наличие файла ещё не доказывает качество или полную работоспособность всех модальностей на вашей сборке. Размер шардов на диске не равен минимально требуемой RAM или VRAM; документация не задаёт проверенного порога для этого GGUF. s2 s3
Версия runtime и права
Карточка ggml-org предлагает llama serve -hf ggml-org/MiMo-V2.6-Pro-RL-GGUF. Перед скачиванием такого пакета стоит закрепить ревизию и определить нужную квантизацию, чтобы не полагаться на неописанный здесь автоматический выбор файла. Поддержка конвертации MiMo-V2.6 вошла в стабильную llama.cpp v0.5.0 от 23 сентября. Однако отдельный PR по feature extraction для MiMo DFlash был слит лишь 30 сентября: он не входит в v0.5.0, но предшествует ночной сборке b11351 от 2 октября. Поэтому обещать работу DFlash на v0.5.0 нельзя; используйте совместимую более новую сборку и проверяйте результат, если нужен именно этот режим. MTP и DFlash — дополнительные сценарии speculative decoding, а не обязательное условие для обычной генерации. Мы не проверяли запуск или ускорение на реальном оборудовании. s2 s4 s5 s6
Обе карточки весов — оригинальной модели Xiaomi и GGUF ggml-org — помечены MIT, репозитории доступны без gated-заявки. Отдельного файла LICENSE в проверенном списке файлов этих модельных репозиториев нет; лицензию весов не следует смешивать с лицензиями кода, данных и внешних зависимостей. s1 s3
Практический следующий шаг: если уже оценивали MiMo-V2.6 Flash в GGUF и вам нужна именно Pro, сопоставьте сценарии на одинаковом тестовом наборе, уточните доступную версию llama.cpp и планируйте ресурсы по собственному профилированию, а не по размеру весовых файлов или числу GPU в серверном рецепте Xiaomi. s2 s3
Источники
- Hugging Face API: ggml-org MiMo-V2.6-Pro-RL-GGUF, ревизия 5f387f52. Получено 02.10.2026.
- ggml-org: карточка GGUF-конверсии Pro-RL, ревизия 5f387f52 — Полное закреплённое дерево и manifest сохранены в evidence: 25 записей, семь шардов каждой основной квантизации.. Получено 02.10.2026.
- Xiaomi MiMo: карточка исходной Pro-RL, ревизия 73875d00. Получено 02.10.2026.
- ggml-org/llama.cpp: стабильный релиз v0.5.0. Получено 02.10.2026.
- ggml-org/llama.cpp: merged PR #29650 по MiMo DFlash. Получено 02.10.2026.
- ggml-org/llama.cpp: nightly b11351. Получено 02.10.2026.