Bonsai 2 27B: тернарные веса в GGUF и MLX для локального запуска
На странице · 3 разделов
Prism ML открыла веса Bonsai 2 27B — тернарной версии Qwen3.8-27B — в форматах GGUF и MLX под Apache 2.0. GGUF PTQ1_0 занимает 5,95 ГБ на диске, PQ2_0 — 7,21 ГБ; MLX-пакет вместе с визуальным модулем — 8,60 ГБ. Это размеры файлов, не минимальные требования к памяти. GGUF требует сборку llama.cpp от Prism ML, а MLX — специальный загрузчик из репозитория модели; обычный загрузчик может выдавать неверный результат.
Что выпущено
16 сентября 2026 года на Hugging Face созданы публичные репозитории Bonsai 2 27B в форматах GGUF и MLX. Это тернарная переработка Qwen3.8-27B, а не новый базовый чекпойнт Qwen и не прежняя модель Ternary-Bonsai 27B. Для GGUF доступны языковые файлы PTQ1_0 и PQ2_0, а также отдельные проекторы для обработки изображений; MLX-пакет включает языковые веса и визуальный модуль. Наличие файлов проверено по деревьям закреплённых ревизий, а дата здесь — дата создания репозиториев, не точная дата загрузки каждого веса s1 s2.
Файл PTQ1_0 занимает 5 946 648 928 байт (около 5,95 ГБ), PQ2_0 — 7 206 168 928 байт (около 7,21 ГБ). Отдельный GGUF-проектор Q8_0 занимает около 0,63 ГБ и нужен для изображений. В MLX один model.safetensors занимает 8 595 477 990 байт (около 8,60 ГБ), включая визуальную часть. Размер файла не равен минимальной RAM/VRAM: память зависит также от контекста, KV-кэша, выбранного backend и offload s1 s2.
Оба репозитория содержат текст Apache License 2.0 и уведомление о базовой Qwen3.8-27B, лицензия которой тоже Apache 2.0. Открытые веса и опубликованные компоненты runtime можно использовать коммерчески при соблюдении условий лицензий, включая сохранение уведомлений при распространении. Это не утверждение о полной открытости обучающих данных или исходного процесса обучения s1 s2 s4.
Как запустить и чего не делать
Для GGUF нужна именно сборка форка PrismML-Eng/llama.cpp с Hadamard-преобразованием активаций. Штатная сборка ggml-org/llama.cpp файлы PTQ1_0 и PQ2_0 не поддерживает. Авторы предупреждают и о другом несовместимом варианте Q2_0 из отдельного dev-репозитория: он может загрузиться в обычный runtime, но выдавать неверный вывод. Не переименовывайте форматы ради загрузки s1 s3.
Официальный демо-репозиторий предлагает для macOS и Linux последовательность git clone https://github.com/PrismML-Eng/Bonsai-demo.git, затем в каталоге Bonsai-demo — ./setup.sh и ./scripts/start_llama_server.sh; для Windows есть setup.ps1. Скрипт установки скачивает веса и совместимые бинарники: проверьте его перед выполнением и предусмотрите место на диске. По умолчанию он выбирает GGUF PQ2_0 и проектор. Для текста без изображения проектор необязателен. Демо автоматически подбирает контекст с учётом доступной памяти; не путайте заявленные 262 тыс. токенов контекста с обещанием, что такой контекст поместится на любом ноутбуке s3.
Для Apple Silicon есть MLX-версия. Её карточка требует загрузчик из каталога runtime/ и предлагает quickstart.py: обычные загрузчики MLX пропускают преобразование активаций и могут возвращать неправильные ответы. Если нужен минимальный размер файла для текстового режима, сравнивайте отдельные GGUF-пакеты с полным MLX-пакетом корректно: в последнем уже лежит визуальный модуль s2.
Как читать цифры качества и скорости
По собственной оценке Prism ML, на 14 бенчмарках в режиме thinking с EvalScope и vLLM на NVIDIA H100 модель набрала 84,78 балла в среднем против 86,32 у FP16 Qwen3.8-27B; авторы описывают это как сохранение 98,2% среднего результата. Это не независимый тест Modelium и не гарантия такого же качества в любой локальной задаче. Отдельная таблица скорости измерена авторами через llama-bench на GGUF с их ядрами, с генерацией 128 токенов и обработкой 512 входных токенов при batch=1 и без визуального модуля. Результаты нельзя напрямую переносить на MLX, произвольный длинный контекст или другое железо s1 s2.
Итог: релиз интересен тем, кто хочет компактный 27B-класс с reasoning и возможностью обработки изображений локально. Но выбор совместимого runtime — обязательное условие, а размер файлов и авторские бенчмарки сами по себе не доказывают, что модель заработает с нужной скоростью и качеством на вашей конфигурации s1 s3.
Источники
- Prism ML: Bonsai 2 27B GGUF, карточка, файлы и лицензия, ревизия 6ed5e12 — README, LICENSE, NOTICE, API и точные размеры файлов сохранены в evidence; 14 авторских тестов и условия измерения в карточке.. Получено 23.09.2026.
- Prism ML: Bonsai 2 27B MLX, карточка, файлы и лицензия, ревизия fcba37d — README, API и размеры файлов сохранены; специальный загрузчик runtime и quickstart описаны в карточке.. Получено 23.09.2026.
- Prism ML: официальный Bonsai-demo, закреплённый коммит ca8c3fb — README и BACKEND-SUPPORT сохранены; форк и штатные сценарии установки подтверждены.. Получено 23.09.2026.
- Qwen: лицензия исходной модели Qwen3.8-27B — Официальный текст Apache License 2.0 сохранён в evidence.. Получено 23.09.2026.