# LensVLM-9B получил MLX-квантизации MXFP4 и MXFP8 для локального запуска на Mac

Источник: https://modelium.tech/zhurnal/lensvlm-9b-mlx-mxfp4-mxfp8-apple-silicon/

24 сентября 2026 года независимый автор выложил две MLX-квантизации Apple LensVLM-9B: MXFP4 и MXFP8 с сохранённым зрительным модулем для запуска на Apple Silicon. Веса доступны без запроса доступа, однако лицензия Apple разрешает лишь некоммерческие исследования. Проверка автором простых текстовых и графических запросов не доказывает качество поиска по длинным документам.

LensVLM-9B в MLX: две квантизации для Mac

24 сентября 2026 года автор `sahilchachra` загрузил на Hugging Face два **неофициальных производных пакета** Apple LensVLM-9B для Apple Silicon. История репозиториев фиксирует загрузку модельных шардов MXFP4 примерно в 09:05–09:12 UTC, MXFP8 — в 09:19–09:26 UTC. Это не новая модель Apple: исходные веса и код появились 22 сентября. [s1](#src-s1) [s2](#src-s2) [s4](#src-s4)

## Что изменилось для локального запуска

В MXFP4 текстовая часть квантизована, зрительная часть оставлена в BF16; модель поставляется двумя Safetensors-шардами суммарно около 5,67 млрд байт. MXFP8 устроен аналогично и содержит около 10,15 млрд байт в двух шардах. Это **размер файлов на диске**, а не заявленный нами минимум RAM или unified memory: реальное потребление зависит от контекста, runtime и других процессов. Квантизация снижает объём загрузки относительно исходного BF16-чекпойнта, но степень сохранения качества на целевой задаче ещё нужно измерить. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

По карточкам автора оба пакета запускались через `mlx-vlm` на Apple Silicon и в LM Studio через MLX-движок; автор проверил простые текстовые вопросы, цвета и формы на изображениях. Это **его проверки**, не тесты Modelium и не независимая оценка поиска ответов в длинных многостраничных документах. Не следует переносить эти результаты на полный цикл LensVLM с разметкой страниц и вызовом `read_page`: для него нужен отдельный прикладной workflow, описанный в материале об оригинальной модели. [s1](#src-s1) [s2](#src-s2) [s4](#src-s4)

## Как попробовать

Для исследовательского запуска на Mac автор предлагает свежий `mlx-vlm` с поддержкой архитектуры `qwen3_5` и Python API. Минимальный пример текстового запроса (загрузка весов потребует места на диске и памяти; команда не проверялась Modelium): [s1](#src-s1) [s5](#src-s5)

from mlx_vlm import load, generatefrom mlx_vlm.prompt_utils import apply_chat_templatemodel, processor = load("sahilchachra/LensVLM-9B-MXFP4")prompt = apply_chat_template(processor, model.config, "What is in this document?")print(generate(model, processor, prompt, max_tokens=300, verbose=True))

Для второго пакета замените ID на `sahilchachra/LensVLM-9B-MXFP8`. Изображение передаётся параметром `image=<путь>` в `generate`; пример без документа демонстрирует только работу runtime, **не** качество документного QA. Автор также сообщает об успешной подаче изображений в локальный API LM Studio, но версия и конфигурация на другом Mac могут отличаться. [s1](#src-s1) [s2](#src-s2)

## Лицензия

У обоих репозиториев указана Apple Machine Learning Research Model License; её текст содержится и в исходном репозитории Apple. Она разрешает использование и производные модели **исключительно для некоммерческих научных исследований**, исключая коммерческую эксплуатацию и разработку коммерческого продукта. Свободный доступ к файлам не означает разрешения внедрять их в коммерческий сервис. Код оригинального демо Apple распространяется на иных условиях, которые нельзя переносить на веса. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

**Итог:** для экспериментов с LensVLM на Apple Silicon теперь есть два MLX-пакета с работающим, по словам автора, зрительным трактом. Перед выбором точности сравните результаты на своих документах и соблюдайте исследовательское ограничение лицензии. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

## Источники

1. [LensVLM-9B-MXFP4: карточка, файлы и история Hugging Face](https://huggingface.co/sahilchachra/LensVLM-9B-MXFP4/tree/23ae80ae9a7d0b8ce975f5a409ba6f017699af6c) — получено 2026-09-24
2. [LensVLM-9B-MXFP8: карточка, файлы и история Hugging Face](https://huggingface.co/sahilchachra/LensVLM-9B-MXFP8/tree/572e5dd44c2fad6f0d7eb01c3fec6b516c46ad29) — получено 2026-09-24
3. [Apple Machine Learning Research Model License: исходные веса LensVLM](https://huggingface.co/apple/LensVLM-9B/blob/ac40d9667bd68df3ac9839d3f0dc7bdb93f5f92b/LICENSE) — получено 2026-09-24
4. [Оригинальный LensVLM-9B от Apple](https://huggingface.co/apple/LensVLM-9B/tree/ac40d9667bd68df3ac9839d3f0dc7bdb93f5f92b) — получено 2026-09-24
5. [mlx-vlm: реализация архитектуры qwen3_5](https://github.com/Blaizzy/mlx-vlm/tree/main/mlx_vlm/models/qwen3_5) — получено 2026-09-24