Rapid-MLX 0.16.7: быстрее DeepSeek V4.1 на Mac с 256 ГБ

Что именно стало быстрее?

Rapid-MLX — программа для запуска моделей на Mac с чипом Apple Silicon. В 0.16.7 разработчики изменили работу черновой генерации: маленький вспомогательный механизм предлагает следующие фрагменты текста, а основная модель перепроверяет их, прежде чем показать ответ. По словам разработчиков, в их однопоточном тесте на M3 Ultra с 256 ГБ скорость выдачи текста выросла с диапазона 17,6–33,9 до 32,6–44,9 токена в секунду относительно версии 0.16.6 в зависимости от запроса. Токен — короткий фрагмент текста, который модель выводит за один шаг. Заявление «до 1,9 раза» относится к этому измерению, а не ко всем моделям и компьютерам; Modelium его не повторял. s1

В отдельном отчёте авторы сравнили настройки черновой генерации на той же машине: для вопроса и краткого пересказа новый стандартный режим был быстрее, а для программного кода прежняя глубина 4 или автоматический режим оказались быстрее. Поэтому обещать каждому пользователю одинаковый прирост нельзя. s2

Кому обновление полезно сейчас?

Тем, кто уже работает с текстовой сборкой DeepSeek V4.1 Flash 1017 через Rapid-MLX на мощном Mac. Сборка весов размещена открыто: её индекс перечисляет 45 файлов модели, и все они присутствовали в репозитории при проверке. Автор карточки рекомендует Mac с 256 ГБ общей памяти и около 340 ГБ свободного места под загрузку. Программная проверка отказывает при памяти ниже 224 ГБ, но это не обещание нормальной работы на Mac с 224 ГБ. Интернет понадобится для первого скачивания; сам механизм вывода описан как локальный. s3s8

Если вы уже используете эту сборку, основной следующий шаг — прочитать описание релиза Rapid-MLX 0.16.7 и обновить программу предусмотренным автором способом. Версия 0.16.7 доступна на PyPI; разработчик предлагает rapid-mlx upgrade или pip install -U rapid-mlx==0.16.7. Это документированные команды, а не проверенный Modelium запуск модели. После обновления пользователь должен видеть версию 0.16.7; реальную скорость стоит сравнить на собственном неизменном запросе, отдельно от времени первоначальной загрузки. s1s7

Что остаётся ограничением?

В карточке именно этой сборки указаны только текстовый ввод и вывод, выбор самого вероятного продолжения без случайности, максимум 8192 токена входного запроса и 4096 токенов ответа. Вызовы инструментов пока не поддерживаются. Это ограничения текущего пути запуска в Rapid-MLX, а не всего семейства DeepSeek. Пакет версии 0.16.6 впервые переключил эту модель на новые веса GPTQ v2; прирост скорости 0.16.7 измерен поверх них. GPTQ — способ уменьшить объём весов с попыткой сохранить качество; собственных тестов качества Modelium не проводил. s1s3s9

Код Rapid-MLX и модуль DeepSeek распространяются по Apache-2.0 с отдельными MIT-компонентами; карточки исходных и производных весов указывают MIT и содержат файлы LICENSE. Лицензии кода и весов проверяются раздельно: доступность весов сама по себе не описывает условия всех компонентов. s4s5s6s10

Если интересует не скорость этого Mac-сценария, а сам выпуск исходной модели, см. материал о DeepSeek V4.1 Flash 1017.