MiMo-V2.6-Pro-MOPD получила GGUF: семь шардов и калиброванный Q2_K

Разница между вариантами

По карточке конвертера, MXFP4 сохраняет routed experts в исходной MXFP4-точности. В варианте с названием Q2_K expert down-проекции всё ещё остаются MXFP4, а gate/up-проекции переводятся в Q2_K. Авторы сообщают, что для этих Q2_K-тензоров применён imatrix из отдельного репозитория AesSedai. Это отличие и от MXFP4-пакета, и от ранее опубликованной Pro-RL-конверсии, где ggml-org прямо указывала отсутствие imatrix. Сам факт калибровки не гарантирует сохранение качества на ваших задачах: сопоставимого независимого теста этих двух MOPD GGUF-пакетов у нас нет. s2 s4

Рядом с основными весами лежат отдельные GGUF для MTP (BF16, Q4_0, Q8_0), DFlash (BF16, Q8_0) и mmproj (BF16, Q8_0) для зрительного и аудиоэнкодеров. Это компоненты разных режимов, а не альтернативы основным семи шардам. Их наличие само по себе не подтверждает работу каждого режима на вашей версии llama.cpp, полном наборе модальностей или конкретном оборудовании. Стабильный релиз llama.cpp v0.5.0 датирован 23 сентября, раньше публикации этого GGUF; проверяйте совместимость используемой сборки и конкретного режима перед загрузкой. s1 s2 s5

Практическое решение и ограничения

Карточка ggml-org предлагает llama serve -hf ggml-org/MiMo-V2.6-Pro-MOPD-GGUF. Это рецепт автора конверсии, не результат теста Modelium. Начните с выбора MXFP4 либо Q2_K, сверки всех семи шардов выбранного набора, затем проверяйте базовые текстовые ответы. Для изображения/аудио, MTP и DFlash отдельно выясните требования совместимой сборки и нужного sidecar; не включайте их только по названию файлов. Чтобы оценить заявленное Xiaomi уменьшение повторов tool calls, сравнивайте Pro-RL и Pro-MOPD при одинаковой версии runtime, цепочке инструментов и определении повтора. Авторский график Xiaomi — не независимое подтверждение на вашем агенте. s2 s3

Карточки исходника и конверсии помечены MIT, но самостоятельного файла LICENSE в их закреплённых деревьях нет. Доступность весов — это open weights; она не доказывает открытости полного процесса обучения. Прежде чем использовать пакет в коммерческом продукте, сверяйте фактические условия весов, конвертера и своего стека. Размеры GGUF-файлов — размеры на диске, а не опубликованный минимум RAM или VRAM; аппаратные требования и скорость здесь не измерялись. s1 s2 s3

Если выбор стоит между версиями, сначала прочитайте об исходных Pro/Flash-MOPD и Flash GGUF и об предыдущем Pro-RL GGUF. Новая конверсия нужна прежде всего тем, кто уже выбрал Pro-MOPD для собственного агентского сценария, но хочет проверить его через GGUF вместо исходных Safetensors-весов.