MiniCPM5-2B: варианты весов, локальный запуск и проверка результата

Какая это модель и для чего она годится?

MiniCPM5-2B — текстовая модель OpenBMB. Карточка указывает 2 516 756 480 параметров, архитектуру LlamaForCausalLM и сценарии локального ассистента, программирования и использования инструментов s1. Не путайте её с MiniCPM5-1B, чекпойнтами до дообучения и вариантами DSpark: у них другие назначения и файлы s1. Для черновиков ответов и теста небольшого агента это кандидат; пригодность для русской речи, ваших документов или кода не следует из названия «2B» и должна измеряться на своём наборе.

Конфигурация исходного чекпойнта содержит max_position_embeddings: 131072 s2. Это заявленное архитектурное окно, не обещание качественного ответа по любой длинной инструкции и не гарантия, что весь контекст поместится в памяти выбранного устройства. Для реального сценария проверяйте полноту извлечённых фактов и расход памяти при собственной длине ввода.

Автор обозначает модель и веса как Apache-2.0, а в репозитории кода опубликован текст лицензии s1 s8. Открытые веса и текст лицензии не равны отдельной гарантии качества, бесплатности инфраструктуры или прав на сторонний датасет: при внедрении сверяйте условия именно используемых компонентов.

Какой файл выбрать для своего компьютера?

В официальном GGUF-репозитории есть F16, Q8_0 и Q4_K_M s3. По HTTP HEAD закреплённых файлов Q4_K_M занимает 1 561 318 368 байт, Q8_0 — 2 679 710 688 байт, а исходный BF16-файл — 5 033 557 096 байт. Это размер на диске, не минимальная RAM/VRAM: для загрузки, KV-кеша, контекста и runtime нужна дополнительная память. До выбора GPU соотнесите конкретный формат и планируемый контекст с разбором памяти.

• Нужен простой локальный сервер с GGUF. OpenBMB описывает официальный Q4_K_M в обычном llama.cpp; для этого издания специальный форк не указан s4. Это не лицензия приписывать тому же runtime поддержку любого формата другой модели. Инструкция автора задаёт сервер с --jinja и первоначальный контекст -c 8192 — это параметр примера, а не предел модели s4.
• Предпочитаете Ollama. Авторский гайд импортирует GGUF через Modelfile, задаёт шаблон чата и стоп-токены, затем проверяет локальный ответ s5. Не выдавайте просто скачанный файл за уже настроенный тег. Для следующего шага откройте Ollama и сверьте точный тег и ответ после импорта. Настройки по умолчанию одного движка не обязаны совпадать с другим.
• Mac на Apple Silicon. Отдельный MLX-репозиторий содержит модель с quantization.bits: 4 и mode: affine s7. Документация OpenBMB показывает запуск через mlx-lm, включая требование к версии пакета при корректной остановке на конце реплики s6. Это другой артефакт, а не GGUF с изменённым расширением; проверьте точный репозиторий и версию runtime до оценки результата.

OpenBMB предлагает для GGUF набор настроек temperature=1.0, top_p=0.95, min_p=0.0. По объяснению автора, в llama.cpp иной default min_p может приводить к повторяющемуся выводу s4. Это настройка для проверки, а не гарантия отсутствия повторов; при сравнении двух форматов держите один и тот же тестовый вопрос и одинаковые настройки. Для tool calling разработчик выделяет отдельный SGLang-парсер minicpm5; успешный текстовый ответ в Ollama не доказывает корректность реального вызова инструмента s1.

Как проверить, подходит ли модель под задачу?

1. Запишите точные репозиторий, SHA ревизии, имя файла, версию runtime и размер контекста. Не смешивайте исходный BF16, GGUF и MLX в одном сравнении без указания формата s1 s3 s7.
2. Подайте известный вам короткий вопрос и проверьте, что ответ не обрывается и соответствует исходному факту. Затем используйте 10–20 обезличенных примеров своего рабочего сценария: для поиска по документам сверяйте факты с первоисточником, для кода запускайте собственные тесты в изоляции. Это предлагаемый протокол, не уже выполненный тест Modelium.
3. Если нужны действия агента, проверяйте не финальную фразу «готово», а реальный вызов инструмента, аргументы, отказ для запрещённого действия и полученный результат. Путь через SGLang с парсером minicpm5 описан авторами, но пригодность на вашем наборе инструментов остаётся неизвестной s1.

Карточка OpenBMB приводит сравнения MiniCPM5-2B с другими моделями; это авторские результаты в выбранном наборе тестов, а не независимая проверка Modelium и не рейтинг для русского языка s1. Короткий контрольный прогон важнее переноса этих оценок на бухгалтерские документы или внутренний код. Если модель не проходит вашу проверку, сначала сравните формат, шаблон и настройки; потом берите более подходящую модель, а не объявляйте весь класс «2B» непригодным.

Следующий шаг: откройте Ollama, выберите официальный Q4_K_M с закреплённой ревизией через Hugging Face и выполните тестовый ответ по инструкции OpenBMB s3 s5. Modelium не проводил собственного запуска и не знает, сколько памяти потребуется на вашем устройстве.