MiniCPM-OCR 1.0: вышел SDK 1.0.2 для разбора PDF в Markdown

Что делает новый комплект

При разборе PDF программа сначала превращает страницы в изображения. Дополнительная модель PP-DocLayoutV3 находит области текста и определяет порядок чтения, MiniCPM-OCR 1.0 распознаёт содержимое областей, а SDK собирает ответ в Markdown. Таблицы могут оказаться в HTML, формулы — в LaTeX: это форматы записи структуры, а не гарантия идеальной копии страницы. Поддерживаются также PNG и JPG. Если на входе скан с таблицей и формулой, полезный результат — текст в правильном порядке и области, которые можно отдельно сверить с оригиналом. s3 s4

Веса модели доступны в исходном формате и в официальном наборе GGUF для программы llama.cpp; в наборе GGUF есть и отдельный файл для обработки изображения. Пакет SDK — это не сами веса. Для полного разбора документа нужны и модель распознавания, и модель разметки страницы, и работающий сервис, к которому SDK отправляет фрагменты документа. Если сервис запущен на другой машине, обработка не является целиком локальной на вашем компьютере; расположение сервиса следует проверить до отправки личных файлов. s3 s4 s5

Насколько это готово для домашнего компьютера

Официальная подробная инструкция описывает Linux x86_64 на примере Ubuntu 22.04, видеокарту NVIDIA и два отдельных окружения Python: одно для SDK и разметки страниц, другое для сервиса распознавания vLLM. Авторы проверяли пример на RTX 5090 с 32 ГБ видеопамяти. Это тестовая конфигурация, а не объявленный минимум; отдельное руководство для llama.cpp описывает также запуск на процессоре, но не делает весь сценарий установкой в один клик. Указанный в руководстве запас диска относится к этой сборке двух окружений, а не к размеру весов. Редакция не запускала модель и не подтверждает совместимость с конкретным домашним ПК. s4 s6

Для первой попытки разумнее начать с официального руководства под вашу ОС и имеющееся оборудование, а затем сверить на короткой несекретной странице имена, порядок абзацев, суммы и ячейки таблицы с оригиналом. Если хочется только попробовать распознавание одной области изображения, это иной, более узкий сценарий, чем готовый Markdown из целого PDF. s3 s4

Что известно о качестве и правах

OpenBMB заявляет оценку 93,68 на Real5-OmniDocBench и около 1,2 страницы в секунду в собственном сравнении на RTX 5090 и наборе из 1651 изображений OmniDocBench v1.6; обработка областей внутри одной страницы могла идти параллельно. Это результаты авторов, не измерения Modelium и не обещанная скорость на домашней машине. Руководство по воспроизведению прямо говорит, что полные скрипты, точные версии и границы замера времени ещё предстоит добавить. s3 s7

Карточка весов отмечена Apache-2.0; репозиторий OpenBMB содержит LICENSE Apache-2.0 и прямо относит эту лицензию к коду и весам MiniCPM-OCR 1.0. На странице весов отдельного файла LICENSE нет, поэтому право нельзя выводить из одного лишь наличия файла модели. У модели разметки страницы и прочих зависимостей могут быть собственные условия — проверяйте их отдельно перед применением всего конвейера. s3 s8 s9

Для сравнения с другим подходом к локальному разбору длинных документов можно открыть материал о Baidu Unlimited-OCR 2. Он не является подтверждением совместимости двух моделей в одном конвейере.