LensVLM-9B получила 4-битную MLX-версию для локальной работы на Mac

Зачем нужен этот вариант

LensVLM предназначена для вопросов по длинным документам: страницы сначала представляют в виде сжатых изображений, затем модель может запросить подробное содержимое нужной страницы. Поэтому важно различать запуск VLM на картинке и законченный процесс поиска по документу с рендерингом страниц и обработкой read_page. Новая сборка делает доступным MLX-формат для экспериментов на Apple Silicon; сама по себе она не заменяет такой прикладной цикл. s2 s3

Автор конверсии сообщает о смешанной точности: языковые слои распределены между 4 и 8 битами, визуальный энкодер сохранён в bf16. Манифест подтверждает три весовых файла общим объёмом около 8,01 млрд байт. Размер загрузки не равен минимальному объёму объединённой памяти Mac: для инференса нужны также рабочие буферы и контекст, а подтверждённый минимум памяти для этой сборки не опубликован. По словам автора, схема распределения точности перенесена с другой модели Qwen3.5-9B; измерения чувствительности именно LensVLM не проводились. s1 s2

Как пробовать и чему пока не доверять

Карточка предлагает установить mlx-optiq и запустить локальный сервис командой optiq serve --model mlx-community/LensVLM-9B-OptiQ-4bit. Для изображения приведён Python-пример с OptiqEngine(...).generate(..., images=["page.png"]). Пакет mlx-optiq доступен на PyPI; приведённый здесь рецепт — инструкция автора, Modelium не выполнял инференс и не проверял совместимость на конкретном Mac. Для текстовых запросов карточка отдельно приводит загрузку через mlx-lm, но обработка изображения там не обещана. s2 s4

Автор проверил распознавание трёх простых фигур/цветов и несколько коротких текстовых задач. Это не измерение качества вопросов по многостраничным документам и не сравнение квантизации с исходным bf16-чекпойнтом на целевом сценарии. Для исследовательского применения стоит отдельно проверить свой полный pipeline, ошибки выбора страниц и качество ответов до и после квантизации. s2 s3

Лицензия

Метаданные конверсии прямо отсылают к Apple Machine Learning Research Model License исходной модели. Она разрешает некоммерческие научные исследования, но исключает коммерческое применение, разработку продукта и использование в коммерческом сервисе. Открытая загрузка весов и возможность локального запуска не дают коммерческого разрешения; это условие важно и для производной квантизации. s2 s3