LensVLM-9B получил MLX-квантизации MXFP4 и MXFP8 для локального запуска на Mac

Что изменилось для локального запуска

В MXFP4 текстовая часть квантизована, зрительная часть оставлена в BF16; модель поставляется двумя Safetensors-шардами суммарно около 5,67 млрд байт. MXFP8 устроен аналогично и содержит около 10,15 млрд байт в двух шардах. Это размер файлов на диске, а не заявленный нами минимум RAM или unified memory: реальное потребление зависит от контекста, runtime и других процессов. Квантизация снижает объём загрузки относительно исходного BF16-чекпойнта, но степень сохранения качества на целевой задаче ещё нужно измерить. s1 s2 s3

По карточкам автора оба пакета запускались через mlx-vlm на Apple Silicon и в LM Studio через MLX-движок; автор проверил простые текстовые вопросы, цвета и формы на изображениях. Это его проверки, не тесты Modelium и не независимая оценка поиска ответов в длинных многостраничных документах. Не следует переносить эти результаты на полный цикл LensVLM с разметкой страниц и вызовом read_page: для него нужен отдельный прикладной workflow, описанный в материале об оригинальной модели. s1 s2 s4

Как попробовать

Для исследовательского запуска на Mac автор предлагает свежий mlx-vlm с поддержкой архитектуры qwen3_5 и Python API. Минимальный пример текстового запроса (загрузка весов потребует места на диске и памяти; команда не проверялась Modelium): s1 s5

from mlx_vlm import load, generate
from mlx_vlm.prompt_utils import apply_chat_template
model, processor = load("sahilchachra/LensVLM-9B-MXFP4")
prompt = apply_chat_template(processor, model.config, "What is in this document?")
print(generate(model, processor, prompt, max_tokens=300, verbose=True))

Для второго пакета замените ID на sahilchachra/LensVLM-9B-MXFP8. Изображение передаётся параметром image=<путь> в generate; пример без документа демонстрирует только работу runtime, не качество документного QA. Автор также сообщает об успешной подаче изображений в локальный API LM Studio, но версия и конфигурация на другом Mac могут отличаться. s1 s2

Лицензия

У обоих репозиториев указана Apple Machine Learning Research Model License; её текст содержится и в исходном репозитории Apple. Она разрешает использование и производные модели исключительно для некоммерческих научных исследований, исключая коммерческую эксплуатацию и разработку коммерческого продукта. Свободный доступ к файлам не означает разрешения внедрять их в коммерческий сервис. Код оригинального демо Apple распространяется на иных условиях, которые нельзя переносить на веса. s1 s2 s3

Итог: для экспериментов с LensVLM на Apple Silicon теперь есть два MLX-пакета с работающим, по словам автора, зрительным трактом. Перед выбором точности сравните результаты на своих документах и соблюдайте исследовательское ограничение лицензии. s1 s2 s3