# MiniCPM5-2B: варианты весов, локальный запуск и проверка результата

Источник: https://modelium.tech/zhurnal/minicpm5-2b/

MiniCPM5-2B — компактная текстовая модель OpenBMB; автор публикует исходный BF16, GGUF в F16/Q8_0/Q4_K_M и отдельный 4-битный MLX-пакет. Для локального старта выберите конкретный репозиторий и runtime: GGUF в llama.cpp или Ollama, MLX на Apple Silicon. Файлы Q4_K_M, Q8_0 и BF16 занимают разное место на диске, но размер файла нельзя считать минимальным объёмом RAM/VRAM; качество и скорость проверяйте на своей задаче.

Проверено 2 октября 2026 года по карточкам OpenBMB (BF16 `f974000`, GGUF `2079a22`, MLX `8a9ad75`) и документации Git `316cfb1`. Modelium не запускал модель, не измерял скорость, память или качество её ответов.

## Какая это модель и для чего она годится?

**MiniCPM5-2B** — текстовая модель OpenBMB. Карточка указывает 2 516 756 480 параметров, архитектуру `LlamaForCausalLM` и сценарии локального ассистента, программирования и использования инструментов [s1](#src-s1). Не путайте её с MiniCPM5-1B, чекпойнтами до дообучения и вариантами DSpark: у них другие назначения и файлы [s1](#src-s1). Для черновиков ответов и теста небольшого агента это кандидат; пригодность для русской речи, ваших документов или кода не следует из названия «2B» и должна измеряться на своём наборе.

Конфигурация исходного чекпойнта содержит `max_position_embeddings: 131072` [s2](#src-s2). Это заявленное архитектурное окно, **не** обещание качественного ответа по любой длинной инструкции и не гарантия, что весь контекст поместится в памяти выбранного устройства. Для реального сценария проверяйте полноту извлечённых фактов и расход памяти при собственной длине ввода.

Автор обозначает модель и веса как Apache-2.0, а в репозитории кода опубликован текст лицензии [s1](#src-s1) [s8](#src-s8). Открытые веса и текст лицензии не равны отдельной гарантии качества, бесплатности инфраструктуры или прав на сторонний датасет: при внедрении сверяйте условия именно используемых компонентов.

## Какой файл выбрать для своего компьютера?

В официальном GGUF-репозитории есть **F16, Q8_0 и Q4_K_M** [s3](#src-s3). По HTTP HEAD закреплённых файлов Q4_K_M занимает 1 561 318 368 байт, Q8_0 — 2 679 710 688 байт, а исходный BF16-файл — 5 033 557 096 байт. Это размер *на диске*, не минимальная RAM/VRAM: для загрузки, KV-кеша, контекста и runtime нужна дополнительная память. До выбора GPU соотнесите конкретный формат и планируемый контекст с [разбором памяти](/zhurnal/videokarta-dlya-llm/).

- **Нужен простой локальный сервер с GGUF.** OpenBMB описывает официальный Q4_K_M в обычном [llama.cpp](/zhurnal/llama-cpp/); для этого издания специальный форк не указан [s4](#src-s4). Это не лицензия приписывать тому же runtime поддержку любого формата другой модели. Инструкция автора задаёт сервер с `--jinja` и первоначальный контекст `-c 8192` — это параметр примера, а не предел модели [s4](#src-s4).

- **Предпочитаете Ollama.** Авторский гайд импортирует GGUF через `Modelfile`, задаёт шаблон чата и стоп-токены, затем проверяет локальный ответ [s5](#src-s5). Не выдавайте просто скачанный файл за уже настроенный тег. Для следующего шага откройте [Ollama](/zapusk/ollama/) и сверьте точный тег и ответ после импорта. Настройки по умолчанию одного движка не обязаны совпадать с другим.

- **Mac на Apple Silicon.** Отдельный MLX-репозиторий содержит модель с `quantization.bits: 4` и `mode: affine` [s7](#src-s7). Документация OpenBMB показывает запуск через `mlx-lm`, включая требование к версии пакета при корректной остановке на конце реплики [s6](#src-s6). Это другой артефакт, а не GGUF с изменённым расширением; проверьте точный репозиторий и версию runtime до оценки результата.

OpenBMB предлагает для GGUF набор настроек `temperature=1.0`, `top_p=0.95`, `min_p=0.0`. По объяснению автора, в llama.cpp иной default `min_p` может приводить к повторяющемуся выводу [s4](#src-s4). Это настройка для **проверки**, а не гарантия отсутствия повторов; при сравнении двух форматов держите один и тот же тестовый вопрос и одинаковые настройки. Для tool calling разработчик выделяет отдельный SGLang-парсер `minicpm5`; успешный текстовый ответ в Ollama не доказывает корректность реального вызова инструмента [s1](#src-s1).

## Как проверить, подходит ли модель под задачу?

- Запишите точные репозиторий, SHA ревизии, имя файла, версию runtime и размер контекста. Не смешивайте исходный BF16, GGUF и MLX в одном сравнении без указания формата [s1](#src-s1) [s3](#src-s3) [s7](#src-s7).

- Подайте известный вам короткий вопрос и проверьте, что ответ не обрывается и соответствует исходному факту. Затем используйте 10–20 обезличенных примеров своего рабочего сценария: для поиска по документам сверяйте факты с первоисточником, для кода запускайте собственные тесты в изоляции. Это **предлагаемый протокол**, не уже выполненный тест Modelium.

- Если нужны действия агента, проверяйте не финальную фразу «готово», а реальный вызов инструмента, аргументы, отказ для запрещённого действия и полученный результат. Путь через SGLang с парсером `minicpm5` описан авторами, но пригодность на вашем наборе инструментов остаётся неизвестной [s1](#src-s1).

Карточка OpenBMB приводит сравнения MiniCPM5-2B с другими моделями; это **авторские результаты в выбранном наборе тестов**, а не независимая проверка Modelium и не рейтинг для русского языка [s1](#src-s1). Короткий контрольный прогон важнее переноса этих оценок на бухгалтерские документы или внутренний код. Если модель не проходит вашу проверку, сначала сравните формат, шаблон и настройки; потом берите более подходящую модель, а не объявляйте весь класс «2B» непригодным.

**Следующий шаг:** [откройте Ollama](/zapusk/ollama/), выберите официальный Q4_K_M с закреплённой ревизией через [Hugging Face](/zhurnal/hugging-face-modeli/) и выполните тестовый ответ по инструкции OpenBMB [s3](#src-s3) [s5](#src-s5). Modelium не проводил собственного запуска и не знает, сколько памяти потребуется на вашем устройстве.

## Источники

1. [OpenBMB — MiniCPM5-2B: авторская карточка ревизии](https://huggingface.co/openbmb/MiniCPM5-2B/blob/f97400052a43d642bbc6e9975e2397e3ae6a6b52/README.md) — получено 2026-10-02
2. [OpenBMB — config.json BF16 ревизии](https://huggingface.co/openbmb/MiniCPM5-2B/blob/f97400052a43d642bbc6e9975e2397e3ae6a6b52/config.json) — получено 2026-10-02
3. [OpenBMB — официальный GGUF, карточка ревизии](https://huggingface.co/openbmb/MiniCPM5-2B-GGUF/blob/2079a22f3beaa4e306449978533478fe0522f4b3/README.md) — получено 2026-10-02
4. [OpenBMB — развертывание GGUF в llama.cpp](https://github.com/OpenBMB/MiniCPM/blob/316cfb1cea39f39cfa16b4f5703b77495c2340be/docs/deployment/llama_cpp.md) — получено 2026-10-02
5. [OpenBMB — развертывание MiniCPM5 в Ollama](https://github.com/OpenBMB/MiniCPM/blob/316cfb1cea39f39cfa16b4f5703b77495c2340be/docs/deployment/ollama.md) — получено 2026-10-02
6. [OpenBMB — развертывание MiniCPM5 в MLX](https://github.com/OpenBMB/MiniCPM/blob/316cfb1cea39f39cfa16b4f5703b77495c2340be/docs/deployment/mlx.md) — получено 2026-10-02
7. [OpenBMB — конфигурация MLX 4-bit](https://huggingface.co/openbmb/MiniCPM5-2B-MLX/blob/8a9ad7539ac86281d0ac2b017ba04a5de53fe9a3/config.json) — получено 2026-10-02
8. [OpenBMB — текст лицензии MiniCPM](https://github.com/OpenBMB/MiniCPM/blob/316cfb1cea39f39cfa16b4f5703b77495c2340be/LICENSE) — получено 2026-10-02