# Bonsai 2 27B: тернарные веса в GGUF и MLX для локального запуска

Источник: https://modelium.tech/zhurnal/bonsai-2-27b-ternary-gguf-mlx-local/

Prism ML открыла веса Bonsai 2 27B — тернарной версии Qwen3.8-27B — в форматах GGUF и MLX под Apache 2.0. GGUF PTQ1_0 занимает 5,95 ГБ на диске, PQ2_0 — 7,21 ГБ; MLX-пакет вместе с визуальным модулем — 8,60 ГБ. Это размеры файлов, не минимальные требования к памяти. GGUF требует сборку llama.cpp от Prism ML, а MLX — специальный загрузчик из репозитория модели; обычный загрузчик может выдавать неверный результат.

## Что выпущено

16 сентября 2026 года на Hugging Face созданы публичные репозитории **Bonsai 2 27B** в форматах GGUF и MLX. Это тернарная переработка Qwen3.8-27B, а не новый базовый чекпойнт Qwen и не прежняя модель Ternary-Bonsai 27B. Для GGUF доступны языковые файлы `PTQ1_0` и `PQ2_0`, а также отдельные проекторы для обработки изображений; MLX-пакет включает языковые веса и визуальный модуль. Наличие файлов проверено по деревьям закреплённых ревизий, а дата здесь — дата создания репозиториев, не точная дата загрузки каждого веса [s1](#src-s1) [s2](#src-s2).

Файл `PTQ1_0` занимает 5 946 648 928 байт (около 5,95 ГБ), `PQ2_0` — 7 206 168 928 байт (около 7,21 ГБ). Отдельный GGUF-проектор `Q8_0` занимает около 0,63 ГБ и нужен для изображений. В MLX один `model.safetensors` занимает 8 595 477 990 байт (около 8,60 ГБ), включая визуальную часть. **Размер файла не равен минимальной RAM/VRAM**: память зависит также от контекста, KV-кэша, выбранного backend и offload [s1](#src-s1) [s2](#src-s2).

Оба репозитория содержат текст **Apache License 2.0** и уведомление о базовой Qwen3.8-27B, лицензия которой тоже Apache 2.0. Открытые веса и опубликованные компоненты runtime можно использовать коммерчески при соблюдении условий лицензий, включая сохранение уведомлений при распространении. Это не утверждение о полной открытости обучающих данных или исходного процесса обучения [s1](#src-s1) [s2](#src-s2) [s4](#src-s4).

## Как запустить и чего не делать

Для GGUF **нужна именно сборка форка **`**PrismML-Eng/llama.cpp**` с Hadamard-преобразованием активаций. Штатная сборка `ggml-org/llama.cpp` файлы `PTQ1_0` и `PQ2_0` не поддерживает. Авторы предупреждают и о другом несовместимом варианте `Q2_0` из отдельного dev-репозитория: он может загрузиться в обычный runtime, но выдавать неверный вывод. Не переименовывайте форматы ради загрузки [s1](#src-s1) [s3](#src-s3).

Официальный демо-репозиторий предлагает для macOS и Linux последовательность `git clone https://github.com/PrismML-Eng/Bonsai-demo.git`, затем в каталоге `Bonsai-demo` — `./setup.sh` и `./scripts/start_llama_server.sh`; для Windows есть `setup.ps1`. Скрипт установки скачивает веса и совместимые бинарники: проверьте его перед выполнением и предусмотрите место на диске. По умолчанию он выбирает GGUF `PQ2_0` и проектор. Для текста без изображения проектор необязателен. Демо автоматически подбирает контекст с учётом доступной памяти; не путайте заявленные 262 тыс. токенов контекста с обещанием, что такой контекст поместится на любом ноутбуке [s3](#src-s3).

Для Apple Silicon есть MLX-версия. Её карточка требует загрузчик из каталога `runtime/` и предлагает `quickstart.py`: обычные загрузчики MLX пропускают преобразование активаций и могут возвращать неправильные ответы. Если нужен минимальный размер файла для текстового режима, сравнивайте отдельные GGUF-пакеты с полным MLX-пакетом корректно: в последнем уже лежит визуальный модуль [s2](#src-s2).

## Как читать цифры качества и скорости

По **собственной оценке Prism ML**, на 14 бенчмарках в режиме thinking с EvalScope и vLLM на NVIDIA H100 модель набрала 84,78 балла в среднем против 86,32 у FP16 Qwen3.8-27B; авторы описывают это как сохранение 98,2% среднего результата. Это не независимый тест Modelium и не гарантия такого же качества в любой локальной задаче. Отдельная таблица скорости измерена авторами через `llama-bench` на GGUF с их ядрами, с генерацией 128 токенов и обработкой 512 входных токенов при batch=1 и без визуального модуля. Результаты нельзя напрямую переносить на MLX, произвольный длинный контекст или другое железо [s1](#src-s1) [s2](#src-s2).

**Итог:** релиз интересен тем, кто хочет компактный 27B-класс с reasoning и возможностью обработки изображений локально. Но выбор совместимого runtime — обязательное условие, а размер файлов и авторские бенчмарки сами по себе не доказывают, что модель заработает с нужной скоростью и качеством на вашей конфигурации [s1](#src-s1) [s3](#src-s3).

## Источники

1. [Prism ML: Bonsai 2 27B GGUF, карточка, файлы и лицензия, ревизия 6ed5e12](https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf/tree/6ed5e12bf84b7a63069882c91dd9e9218647d17b) — получено 2026-09-23
2. [Prism ML: Bonsai 2 27B MLX, карточка, файлы и лицензия, ревизия fcba37d](https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-mlx-2bit/tree/fcba37d2117a7077eac6b613b2668d14d9779edd) — получено 2026-09-23
3. [Prism ML: официальный Bonsai-demo, закреплённый коммит ca8c3fb](https://github.com/PrismML-Eng/Bonsai-demo/tree/ca8c3fb03ccc3fd6a6faa10263f6c82ba9cf555d) — получено 2026-09-23
4. [Qwen: лицензия исходной модели Qwen3.8-27B](https://huggingface.co/Qwen/Qwen3.8-27B/blob/main/LICENSE) — получено 2026-09-23