Перейти к содержанию
modelium.
Начать с задачи
←
Новость

SGLang 0.5.22: второй способ запуска текстовых моделей на Mac

На странице · 2 разделов

В SGLang 0.5.22 появился путь запуска текстовых моделей на Mac с чипом Apple через PyTorch, помимо прежнего движка MLX. Он рассчитан скорее на разработчиков: квантизованные веса и модели с изображениями здесь пока не поддерживаются, а простой готовой установки из PyPI для macOS нет.

Разработчики, которые запускают текстовую модель на своём Mac, получили в SGLang второй движок: теперь помимо MLX можно использовать стандартный путь через PyTorch. SGLang — программа, которая принимает запросы к локальной модели и отдаёт ответы. Выпуск 0.5.22 опубликован 19 октября 2026 года. Для обычного пользователя это пока не повод менять работающую программу: новый путь рассчитан на более техническую настройку. s1 s2

Что именно изменилось

Раньше на Apple Silicon SGLang запускал языковые модели через MLX — отдельный программный движок для чипов Apple. Версия 0.5.22 добавила платформу MPS: так PyTorch обращается к ускорителю Apple Metal. Это позволяет задействовать стандартный механизм обработки запросов SGLang, не заменяя существующий MLX-режим. Код нового пути учитывает рекомендуемый Metal предел используемой памяти, а не просто весь объём оперативной памяти Mac. Это не обещание, что модель потребует меньше памяти. s1 s2 s3

Для проверки нового пути в репозитории есть авторский тест с текстовой Qwen3-0.6B: он запускает сервер, дважды задаёт одинаковый запрос и проверяет повторное использование уже обработанной части текста. Modelium не запускал этот тест на Mac и не подтверждает скорость или совместимость других моделей собственным опытом. s4

Кому это пригодится, а кому пока нет

Это новость прежде всего для разработчика, который сравнивает два движка локального сервера на Mac. Для нового PyTorch-пути исходный код SGLang требует PyTorch не ниже 2.13 и доступного MPS-устройства; документация по Apple Metal указывает Apple Silicon и macOS 14 или новее. Новая проверка конфигурации отклоняет квантизованные веса — то есть заранее сжатые версии модели — и модели, работающие не только с текстом. Обычный MLX-режим остаётся отдельным вариантом и не подпадает под эти ограничения нового пути. s3 s5 s6

Готового простого пакета для установки этой версии на macOS в опубликованном наборе PyPI нет: там размещены только Linux-пакеты. Документация SGLang показывает установку для Mac из исходного кода; поэтому эту новость нельзя считать проверенной домашней инструкцией. Сам релиз не содержит весов модели. Лицензия Apache-2.0 относится к коду SGLang, а условия конкретных загружаемых моделей нужно проверять отдельно. s5 s7 s8

Следующий шаг: если вам нужен общий принцип работы локального сервера, начните с обзора SGLang. Если уже используете предыдущую версию, можно сопоставить изменения 0.5.21, прежде чем решать, нужен ли новый путь на Mac.

Источники