Apple открыла веса LensVLM-9B для локального поиска ответов в длинных документах

Что она делает

Модель на базе Qwen3.5-9B просматривает текст как набор сжатых изображений страниц. Если мелкие детали на нужной странице неразличимы, она вызывает read_page, получает текст соответствующей страницы и формирует ответ. Это не обычная текстовая RAG-выборка и не обещание безошибочно прочитать любой скан: качество зависит от рендеринга, сжатия и выбора страницы. В комплектном примере авторов модель выбирает страницу из 15 и запрашивает её содержимое отдельным вызовом инструмента. s1 s3

Практическая область — экспериментальные локальные ответы по многостраничным документам, когда не хочется передавать материалы внешнему API. Но для целевого сценария недостаточно просто открыть веса в чат-приложении: нужен цикл рендеринга страниц и обработки вызова read_page из официального кода. s3

Веса, запуск и условия

Официальный репозиторий apple/LensVLM-9B открыт без предварительного запроса доступа. Он содержит model.safetensors объёмом 18 819 722 392 байта, процессор и токенизатор. Это размер файла на диске, не минимальное требование к RAM или VRAM. Авторы предлагают установить зависимости из GitHub-репозитория и запустить python scripts/run_demo.py; для собственного текстового документа предусмотрен python demo.py --model apple/LensVLM-9B --text_file document.txt --question "What is the main finding?" --compression 10x. Доступные пресеты: 5x, 10x и 15x. Код демо загружает модель через vLLM, а не через универсальный интерфейс llama.cpp. Мы не запускали инференс и не подтверждаем работоспособность на конкретном компьютере. s1 s3

Есть и сторонние GGUF-квантизации с отдельным мультимодальным проектором, но это не релиз Apple. Наличие GGUF-файла и обычный llama-server сами по себе не подтверждают воспроизведение полного сценария LensVLM с выборочным вызовом read_page и качеством исходной модели; независимых сравнений квантизаций для этой задачи мы не проводили. s5 s3

Лицензии различаются: код распространяется по Apple Sample Code License, а веса и производные от них модели — по Apple Machine Learning Research Model License. Последняя разрешает использование, модификацию и распространение только для некоммерческих исследовательских целей; разработка продукта, коммерческий сервис и иная коммерческая эксплуатация в определение Research Purposes не входят. Публичная доступность весов не означает коммерческое разрешение. s2 s3

Что означают цифры в работе

В статье авторы заявляют качество, сопоставимое с верхней границей на полном тексте при эффективном сжатии 4,3×, и преимущество перед исследованными базовыми подходами до 10,1× эффективного сжатия на семи бенчмарках вопросов и ответов. Это результаты Apple для конкретного экспериментального протокола, не независимая проверка Modelium и не гарантия для корпоративных PDF. Репозиторий отделяет сам инференс от оценки: в его примере evaluation правильность ответа проверяет LLM-судья Qwen3.5-397B-A17B-FP8, запущенный авторами на узле с восемью B200; --skip_judge позволяет считать метрики выбора страниц без этого судьи. Эта конфигурация оценки не является минимальной конфигурацией запуска LensVLM. s4 s3

Если нужен коммерческий локальный документооборот, нельзя переносить исследовательскую лицензию весов в продакшен по умолчанию: сначала проверьте разрешения и выберите подходящую модель. Для некоммерческого исследования начните с официального демо и измерьте долю правильно выбранных страниц на собственном корпусе до интеграции. s2 s3