Перейти к содержанию
modelium.
Начать с задачи
←
Новость

MLX 0.32.4: исправление для M1/M2 и поддержка 1-битных весов

На странице · 2 разделов

14 октября вышла MLX 0.32.4 — обновление программной основы для локальных моделей на Mac. Оно исправляет конкретный сбой обработки внимания на M1/M2 и добавляет операции для 1-битных весов. Это не готовая новая модель: совместимость приложений, качество и скорость вашей модели нужно проверять отдельно.

Если локальная модель на Mac с M1 или M2 завершалась ошибкой при обработке текста, обновление MLX 0.32.4 может устранить один из таких сбоев. Релиз опубликован 14 октября 2026 года; MLX — это программная основа, на которой работают некоторые приложения с локальными моделями, а не отдельное приложение с чат-интерфейсом. Исправление касается конкретного случая в механизме внимания, который помогает модели учитывать части текста: раньше на M1/M2 он мог запросить слишком много потоков GPU. s1 s2

Что изменилось для запуска моделей на Mac?

Разработчики исправили превышение предела потоков при операции внимания на M1/M2. Обновление выбирает другой вариант вычисления, когда обычный вариант превысил бы предел устройства. Это повод проверить версию MLX, если вы уже столкнулись с похожей ошибкой, но не обещание ускорения или исправления любой проблемы на старом Mac. В отчёте об исправлении есть воспроизводимый пример с моделью Qwen3.8-27B-4bit; редакция его не запускала. s2

В библиотеке появилась обработка 1-битных весов: упакованных чисел, которыми можно представить некоторые заранее подготовленные модели компактнее. Поддержаны операции на центральном процессоре и графическом ускорителе Apple (Metal); CUDA-вариант для NVIDIA в этом изменении не реализован. Это возможность для разработчиков и совместимых моделей, а не автоматическое уменьшение уже скачанных весов и не обещание сохранения качества после преобразования любой модели. Таблицы скорости в обсуждении изменения — измерения и оценки авторов на их условиях, не тест Modelium. s1 s3

Кому ещё полезен этот релиз?

Уровень — инженерный. Для разработчиков программ озвучки и работы со звуком добавлены операции STFT и ISTFT: они разбивают звуковой сигнал на частотные фрагменты и собирают его обратно. Сами по себе эти операции не дают готового распознавания речи или озвучки. Также исправлена запись за границы результата одной операции свёртки на CPU. s1 s4 s5

Версия 0.32.4 доступна как пакет MLX, в том числе в виде сборок для macOS на Apple Silicon. Лицензия кода — MIT. Права на конкретные веса моделей нужно смотреть отдельно: лицензия библиотеки их не заменяет. Если ваше приложение поставляет собственную версию MLX, не следует считать, что исправление уже попало в приложение: проверьте его список изменений. Полный запуск, качество и скорость на вашем компьютере мы не измеряли. s1 s6 s7

Следующий шаг: если пользуетесь MLX, уточните установленную версию и обновление именно вашего приложения. О предыдущем выпуске и его исправлениях для Metal можно прочитать в материале MLX 0.32.3.

Источники