Перейти к содержанию
modelium.
Начать с задачи
←
Новость

Flint на Mac: новые 3/4-битные веса, запуск на 24 ГБ не проверен

На странице · 3 разделов

22 октября появился неофициальный вариант весов Recursive Flint для Mac с Apple Silicon: часть данных записана плотнее, чем в исходном INT4. Файлы доступны и автор проверил их через MLX-VLM 0.7.10, но измерения выполнены на Mac с 64 ГБ памяти. Работа на машинах с 24 и 32 ГБ пока остаётся предположением, а не проверенным рецептом.

Flint на Mac: сторонние 3/4-битные веса — запуск на 24 ГБ пока не проверен

Хотите работать с кодом через Flint прямо на Mac, но официальный вариант слишком тяжёлый? 22 октября появилось неофициальное преобразование весов модели: часть данных упакована плотнее, а полный набор файлов занимает около 17,8 ГБ на диске. Автор предполагает, что это поможет запустить модель на Mac с 24 или 32 ГБ объединённой памяти, но на таких компьютерах он её ещё не проверял. Не покупайте оборудование и не меняйте настройки macOS, опираясь только на эту оценку. s1 s2

Сверено по источникам 22 октября 2026 года. Редакция проверила список файлов и индекс весов, но не скачивала модель и не запускала её на Mac. s1 s2

Что именно появилось

Это новая версия файлов обученной модели Recursive Flint от участника сообщества, не официальный выпуск Recursive. Название пакета — mlx-community/flint-mixed-3-4bit. В опубликованном наборе есть четыре части весов, индекс для их сборки и конфигурация. В конфигурации часть параметров записана с точностью 3 бита, другие остаются 4-битными или имеют свою точность: речь не о равномерной «3-битной модели». Размер самого массива весов по индексу — 17,84 ГБ; это не минимальный объём оперативной или видеопамяти. s1 s2

Автор сделал преобразование из официального Flint INT4, а не обучил новую модель с нуля. Цель — уменьшить объём данных для локального запуска на Mac с Apple Silicon через MLX-VLM, программу для запуска моделей на этих компьютерах. Поддержка Flint вошла в стабильную MLX-VLM 0.7.10 21 октября; автор новой конверсии сообщает о собственных пробных запусках с этой версией. Но одна только поддержка семейства моделей не означает, что Modelium проверил именно этот пакет. s2 s3 s4

Подойдёт ли вариант Mac с 24 ГБ

Пока неизвестно. Автор измерил около 19,5 ГБ пикового использования на Mac M5 Max с 64 ГБ и из этого предположил, что модель поместится на 24- и 32-гигабайтных машинах. Он прямо уточняет: реальный запуск на них не проводился. Сама карточка предлагает менять системный лимит памяти графики на 24-гигабайтном Mac; без самостоятельной проверки редакция не рекомендует воспринимать эту настройку как простой и гарантированный шаг для новичка. s2

В небольшом авторском сравнении обе версии справились с шестью прогонами двух задач: парсер выражений с 43 проверками и логическая задача, по три попытки каждой. Автор также сравнил предсказания на 48 фрагментах частного кода по 1024 токена и получил 86,2% совпадений следующего токена с официальным INT4. Это авторские измерения на ограниченном наборе, не независимое подтверждение одинакового качества при повседневном программировании. Модель может писать ошибочный код — проверяйте результат и тесты вручную. s2 s5

Что делать сейчас

Если у вас уже есть Mac с подходящим запасом памяти и вы готовы к эксперименту, откройте закреплённую карточку новой версии: там описаны исходный INT4, приложение MLX-VLM и условия авторской проверки. Для Mac с 24 ГБ дождитесь отчёта о настоящем запуске на такой машине; эта новость не является проверенной инструкцией по установке. За описанием исходной модели и ограничений программы можно обратиться к связанным материалам Modelium. s2 s3

Веса конверсии и исходного Flint отмечены Apache-2.0 с отдельными файлами LICENSE. Код официальной программы rec также обозначен Apache-2.0, а код MLX-VLM — MIT; это разные компоненты и их права не следует смешивать. Размещение на Hugging Face не равно обещанию поддержки от Recursive, а условия размещённого API отличаются от лицензии весов. s1 s3 s5 s6

Лицензия кода MLX-VLM сверена по опубликованному тегу. s7

Источники