# LensVLM-9B получила 4-битную MLX-версию для локальной работы на Mac

Источник: https://modelium.tech/zhurnal/lensvlm-9b-optiq-4bit-mlx-apple-silicon/

24 сентября 2026 года mlx-community опубликовала стороннюю смешанную 4/8-битную MLX-квантизацию Apple LensVLM-9B. Веса и отдельный vision-файл доступны для загрузки; автор показывает короткие проверки изображений, но не публикует оценку качества чтения длинных документов. Лицензия Apple допускает только некоммерческие исследования.

LensVLM-9B OptiQ 4bit: что даёт MLX-конверсия на Mac

24 сентября 2026 года mlx-community разместила отдельный MLX-чекпойнт `LensVLM-9B-OptiQ-4bit`. Это **квантизация уже опубликованной Apple LensVLM-9B**, а не новая базовая модель или официальный выпуск Apple. Репозиторий содержит два шарда языковой части, файл визуального энкодера `optiq/optiq_vision.safetensors`, конфигурацию и токенизатор. Дата и наличие файлов сверены по истории и манифесту Hugging Face. [s1](#src-s1) [s2](#src-s2)

## Зачем нужен этот вариант

LensVLM предназначена для вопросов по длинным документам: страницы сначала представляют в виде сжатых изображений, затем модель может запросить подробное содержимое нужной страницы. Поэтому важно различать *запуск VLM на картинке* и законченный процесс поиска по документу с рендерингом страниц и обработкой `read_page`. Новая сборка делает доступным MLX-формат для экспериментов на Apple Silicon; сама по себе она не заменяет такой прикладной цикл. [s2](#src-s2) [s3](#src-s3)

Автор конверсии сообщает о смешанной точности: языковые слои распределены между 4 и 8 битами, визуальный энкодер сохранён в bf16. Манифест подтверждает три весовых файла общим объёмом около 8,01 млрд байт. **Размер загрузки не равен минимальному объёму объединённой памяти Mac**: для инференса нужны также рабочие буферы и контекст, а подтверждённый минимум памяти для этой сборки не опубликован. По словам автора, схема распределения точности перенесена с другой модели Qwen3.5-9B; измерения чувствительности именно LensVLM не проводились. [s1](#src-s1) [s2](#src-s2)

## Как пробовать и чему пока не доверять

Карточка предлагает установить `mlx-optiq` и запустить локальный сервис командой `optiq serve --model mlx-community/LensVLM-9B-OptiQ-4bit`. Для изображения приведён Python-пример с `OptiqEngine(...).generate(..., images=["page.png"])`. Пакет `mlx-optiq` доступен на PyPI; приведённый здесь рецепт — инструкция автора, **Modelium не выполнял инференс и не проверял совместимость на конкретном Mac**. Для текстовых запросов карточка отдельно приводит загрузку через `mlx-lm`, но обработка изображения там не обещана. [s2](#src-s2) [s4](#src-s4)

Автор проверил распознавание трёх простых фигур/цветов и несколько коротких текстовых задач. Это не измерение качества вопросов по многостраничным документам и не сравнение квантизации с исходным bf16-чекпойнтом на целевом сценарии. Для исследовательского применения стоит отдельно проверить свой полный pipeline, ошибки выбора страниц и качество ответов до и после квантизации. [s2](#src-s2) [s3](#src-s3)

## Лицензия

Метаданные конверсии прямо отсылают к Apple Machine Learning Research Model License исходной модели. Она разрешает некоммерческие научные исследования, но исключает коммерческое применение, разработку продукта и использование в коммерческом сервисе. Открытая загрузка весов и возможность локального запуска **не дают коммерческого разрешения**; это условие важно и для производной квантизации. [s2](#src-s2) [s3](#src-s3)

## Источники

1. [Hugging Face: MLX-квантизация LensVLM-9B, ревизия 9e3d1de1 и манифест файлов](https://huggingface.co/mlx-community/LensVLM-9B-OptiQ-4bit/tree/9e3d1de1d65ed7a301cdeed4b58e70a461a02463) — получено 2026-09-26
2. [Карточка LensVLM-9B-OptiQ-4bit с запуском и пределами авторских тестов](https://huggingface.co/mlx-community/LensVLM-9B-OptiQ-4bit/blob/9e3d1de1d65ed7a301cdeed4b58e70a461a02463/README.md) — получено 2026-09-26
3. [Apple LensVLM-9B: оригинальная модель и исследовательская лицензия](https://huggingface.co/apple/LensVLM-9B/blob/ac40d9667bd68df3ac9839d3f0dc7bdb93f5f92b/LICENSE) — получено 2026-09-26
4. [PyPI: mlx-optiq 0.5.13](https://pypi.org/project/mlx-optiq/0.5.13/) — получено 2026-09-26