Schift OCR 1 beta: локальный OCR корейских документов с таблицами

Что доступно и зачем это нужно

В закреплённой ревизии есть два файла Safetensors, индекс весов, конфигурация, токенизатор и Python-код модели. Индекс ссылается на оба шарда; конфигурация указывает 12 слоёв, 72 маршрутизируемых эксперта и выбор шести на токен. Это открытые для загрузки веса, а не просто API-доступ. MIT LICENSE репозитория побайтно совпадает с лицензией исходной модели Baidu и допускает коммерческое использование при сохранении уведомления; наличие открытых весов не доказывает, что весь производственный сервис Schift открыт. s1 s3 s4

Практический сценарий — извлекать текст, таблицы в HTML и прямоугольники блоков из сканов корейских форм, презентаций и отчётов на своей инфраструктуре. Вывод содержит порядок чтения и координаты в шкале 0–1000, поэтому его можно затем направить на проверку, поиск или импорт в документооборот. Карточка не заявляет улучшения распознавания русских документов: использовать эту модель как универсальный русский OCR без отдельной проверки не стоит. s1

Насколько убедительны результаты

По данным автора, средняя посимвольная ошибка CER на 60 корейских печатных формах составила 0,067 против 0,135 у исходной Unlimited-OCR; на 100 слайдах — 0,217 против 0,228; на 100 страницах общих документов — 0,191 против 0,219. CER ниже — лучше. Автор описывает усреднение по страницам, ограничение ошибки единицей на страницу и запуск сравниваемых моделей при temperature 0 на одинаковых изображениях. Корпус и скрипт независимого воспроизведения этих чисел в карточке не представлены; Modelium тест не проводил. На общем наборе в таблице автора другие модели показывают CER ниже, чем Schift, поэтому одного победного числа для всех типов страниц нет. s1

Путь к запуску и границы рецепта

Карточка даёт два пути: Transformers с trust_remote_code=True и вызовом model.infer на изображении либо vllm serve schift-io/schift-ocr-1-beta --trust-remote-code --max-model-len 32768 на сборке vLLM с Unlimited-OCR. В vLLM v0.30.0 файл модели Unlimited-OCR присутствует и создаёт MoE по конфигурации; у Schift число экспертов отличается от базовой Baidu (72 против 64). Автор сообщает, что проверил команду на коде vLLM конкретного коммита, но редакция запуск не воспроизводила: перед эксплуатацией закрепите версии, проверьте загрузку именно этой ревизии и сравните несколько своих документов с эталонной разметкой. trust_remote_code исполняет код репозитория — сначала изучите закреплённые Python-файлы, особенно в закрытом контуре. s1 s4 s5

Для vLLM карточка предлагает промпт <image>document parsing., temperature=0, repetition_penalty=1.0 и максимум до 16 384 токенов. Это параметры авторского примера, не измеренная редакцией оптимальная конфигурация и не гарантия поддержки любой видеокарты. Beta-ограничения: на очень длинных страницах возможны повторы текста, а большие таблицы с объединёнными ячейками могут иметь неверное число ячеек в строке. Для решения о внедрении проверьте свои формы, слайды и таблицы раздельно, затем сопоставьте CER и структуру HTML с исходной Unlimited-OCR. s1