Rapid-MLX 0.16.8: официальный Flint INT4 теперь запускается на Mac

Хотите попробовать Flint для работы с программным кодом прямо на Mac? В Rapid-MLX 0.16.8 появился способ запустить официальную сборку Flint INT4, которой ранее не хватало совместимой поддержки в этой программе. Версия вышла 22 октября 2026 года; сведения сверены в день релиза. Это новость о программе запуска, а не о новой модели: сами веса появились раньше. s1s2s5

Что изменилось для владельца Mac?

Flint — текстовая модель Recursive, ориентированная на задачи программирования. Rapid-MLX — программа для запуска моделей на компьютерах Apple Silicon; MLX — используемый ею набор компонентов для работы с моделями на Mac. В версии 0.16.8 разработчики добавили собственный адаптер для официального пакета RecursiveSI/flint-int4, чтобы учитывать особенности его упакованных весов. В каталоге программы он называется flint-40b-a2.5b-4bit: этот псевдоним закреплён за конкретной ревизией весов, поэтому обновление файлов на Hugging Face не должно незаметно изменить загружаемую сборку. Если закреплённая версия недоступна, загрузка завершится ошибкой, а не переключится на другую. s2s3s5s9

INT4 означает способ компактного хранения большей части чисел модели. Веса можно скачать из официального репозитория под Apache 2.0; в проверенной версии видны пять файлов модели. Автор карточки называет размер пакета около 22,6 ГБ. Это объём файлов, не минимальный объём оперативной памяти. Лицензия программы Rapid-MLX — Apache 2.0, но её адаптер Flint содержит отдельное уведомление о заимствованном MIT-коде; условия облачного API Recursive не следует переносить на локальные веса. s5s6s7s10

Нужно ли обновляться и что понадобится?

Если вы намерены использовать именно официальный Flint INT4 на Mac, основной следующий шаг — сверить память компьютера с рекомендацией авторов 48 ГБ общей памяти или больше, затем обновить Rapid-MLX до 0.16.8. Официальный релиз предлагает brew upgrade rapid-mlx либо pip install -U rapid-mlx==0.16.8 для уже выбранного способа установки. После обновления авторы предлагают запуск через rapid-mlx serve flint-40b-a2.5b-4bit; для первого получения весов нужен интернет. При успешном запуске должен стартовать локальный сервер с этой моделью, а не открыться отдельное окно чата. Это инструкция по документации: Modelium не запускал модель на Mac и не гарантирует результат для вашей конфигурации. s1s2s8

В авторском тесте Flint работал и на M5 Max с 36 ГБ, но при четырёх длинных запросах программа допускала их на обработку по очереди; это не основание рекомендовать 36 ГБ всем. Разработчики сообщили о скорости 131 токен в секунду на одном коротком запросе примерно с тысячей входных токенов, при MLX 0.32.4 и ограничении ответа 256 токенами. Токен — небольшой фрагмент текста; на других задачах и Mac скорость может отличаться. Сокращённый кэш памяти для этой модели не поддерживается, как и черновая ускоренная генерация MTP. s1s2

Что ещё есть в 0.16.8?

Исправлена очередь нескольких коротких запросов к другой модели — qwen3.8-27b-4bit в режиме MTP (дополнительный механизм предсказания фрагментов ответа). В тесте авторов четыре одновременных чата на M3 Ultra с 256 ГБ суммарно ускорились с 37,6 до 73,8 токена в секунду; одиночный диалог не ускорился. В настольном интерфейсе стадия загрузки модели теперь показывается у поля ввода. Если вам нужен только один чат или вы не используете Flint, срочно обновляться ради заявленного прироста не требуется. s1s4

Flint умеет вызывать инструменты, но сгенерированный код и предложенные действия нужно проверять до выполнения: формат вызова не делает их безопасными. Для сравнения уже есть материал о Flint в формате GGUF и разбор другой MLX-сборки; новый релиз посвящён поддержке конкретного официального INT4-пакета в Rapid-MLX. s2s10