Перейти к содержанию
modelium.
Начать с задачи
←
Абстрактная композиция: зернистая фактура и рассеянные частицы в сиреневых тонах.
Новость

LM Studio 0.4.25 добавила Splash для локального Qwen3.8 на Mac

На странице · 5 разделов

LM Studio 0.4.25 добавила экспериментальный движок Splash от Inco AI для локального Qwen3.8-27B на Mac. Для подготовленного пакета модели требуются Apple M3 или новее, macOS 26.4+ и минимум 36 ГБ объединённой памяти — это требования разработчика, а не вывод из размера файлов. Движок и пакет весов доступны под Apache-2.0; опубликованные скорости получены Inco на M5 Pro, Modelium их не воспроизводил.

Что произошло

19 сентября 2026 года LM Studio выпустила 0.4.25 с поддержкой Splash на Apple Silicon M3 и новее под macOS 26.4+. Обновление Bionic 1.1.5 также упоминает ускоренный инференс Qwen3.8 через этот движок. Сам Splash и подготовленный пакет модели представила Inco AI; это отдельный бэкенд, а не ускорение всех моделей в LM Studio s1 s2 s3.

Что нужно для запуска

Для Qwen3.8-27B Inco указывает Apple M3 или новее, macOS 26.4+ и не менее 36 ГБ объединённой памяти; 48 ГБ и больше рекомендуются. Это прямо заявленные требования конкретного пакета и движка, а не оценка RAM по объёму файлов. В LM Studio включите экспериментальный бэкенд через Settings → Runtime → Experimental backends → Splash (Metal), затем загрузите подготовленную модель incoai/Qwen3.8-27B-Splash s3 s4.

Пакет содержит 4-битную основную модель, DFlash 2 draft-модель для спекулятивного декодирования, vision encoder и токенизатор. Разработчик указывает загрузку 17,4 ГБ; это размер пакета на диске, не требование к памяти. Формат специально подготовлен для Splash и не загружается как обычный Transformers- или MLX-чекпойнт. На Hugging Face присутствуют модельные файлы и отдельный LICENSE под Apache-2.0; репозиторий исходного кода движка также помечен Apache-2.0. Это лицензии движка и пакета, а не утверждение об открытости исходного кода LM Studio s4 s5.

Splash можно запустить и без LM Studio: официальный пример Inco — brew install incoai/tap/splash, затем splash serve --model incoai/Qwen3.8-27B-Splash. Локальный сервер по умолчанию привязан к 127.0.0.1:8000 без аутентификации; если открывать доступ за пределы своего Mac, разработчик рекомендует задать SPLASH_API_KEY. Поддерживаются совместимые API для Chat Completions/Responses и Anthropic Messages, включая streaming, tool calls и JSON Schema s4 s5.

Что означают цифры скорости

Inco заявляет 74 токена/с при декодировании короткого запроса и суммарно 170 токенов/с на четырёх одновременных коротких запросах Qwen3.8-27B. Условия авторского замера: M5 Pro с 16-ядерным GPU и 48 ГБ объединённой памяти, выбранные coding-запросы SPEED-Bench через HTTP, ограничение вывода 1024 токенами, reasoning на уровне medium. Это результаты автора движка, а не независимый тест; Modelium измерений не проводил. На M3/M4 или при иных контекстах и нагрузке скорость может отличаться s4 s5.

Для кого это полезно, а кому не подойдёт

Владельцу подходящего Mac появился второй путь для локального Qwen3.8-27B и агентных сценариев с параллельными запросами. Splash заточен под подготовленные модели и Metal, поэтому не заменяет универсальные GGUF/MLX-бэкенды. На M1/M2, более старой macOS, Windows и Linux данный путь сейчас не рассчитан; если у вас уже есть рабочая конфигурация, сравните скорость, ответы и потребление памяти на собственных задачах, прежде чем переключать основной workflow s3 s4.

Первоисточники

Источники