Bonsai 2: что дают новые локальные модели 2B, 4B и 9B

Что именно стало доступно?

Bonsai 2 основана на Qwen3.5. Числа 2B, 4B и 9B обозначают приблизительный масштаб модели, а не объём памяти компьютера. «Тернарные» веса означают, что часть чисел внутри модели сведена к трём значениям: −1, 0 и +1. Так файлы можно сделать компактнее, но это не гарантия прежнего качества каждого ответа. s1 s8

Для каждой из трёх моделей Prism ML выложила файлы GGUF (формат для программ на основе llama.cpp) и MLX (формат для Mac с чипом Apple). Например, файл GGUF PQ2_0 с текстовой частью занимает, по карточкам авторов, около 0,52 ГБ у 2B, 1,15 ГБ у 4B и 2,42 ГБ у 9B. Для анализа фото требуется отдельный файл со зрительной частью, а у MLX-файла она уже входит в комплект. Это размеры загрузки, не минимальные требования к оперативной или видеопамяти. Память зависит также от длины диалога и режима запуска. s2 s3 s4 s5

Что это меняет для обычного пользователя?

Появился выбор между более лёгким первым опытом с 2B и более крупными 4B/9B без перехода к 27B. Можно, например, дать модели собственную фотографию предмета и попросить описать её; затем сверить описание с изображением. Важные детали и текст на снимке проверяйте сами: авторские сравнения показывают разную потерю качества на разных заданиях, а Modelium эти модели не запускал и не замерял. s8

С чего начать на Mac?

Один подтверждённый документацией путь для Mac с Apple Silicon — официальный Bonsai Demo. В его папке документация предлагает выполнить BONSAI_MODEL=2B ./setup.sh, а после установки — BONSAI_MODEL=2B ./scripts/run_mlx.sh -p 'Назови три идеи для домашнего растения' -n 1024. Первый шаг готовит окружение и скачивает необходимые файлы через интернет; второй должен вывести ответ модели в терминале. Если хотите проверить работу с фото, отдельный пример с изображением есть в карточке MLX 2B. Это инструкция по первоисточнику, не воспроизведённый редакцией запуск. Пакет mlx-vlm версии 0.7.8 содержит поддержку архитектуры модели; подменять его обычным mlx-lm из установленного окружения не следует. s5 s6 s7

Если у вас Windows или Linux, у авторов есть GGUF и сборка llama.cpp, но эта заметка не является готовым пошаговым рецептом для этих систем. Особенно важно не путать упаковки: PQ2_0 и PTQ1_0 требуют форк Prism ML; для обычной актуальной версии llama.cpp авторы указывают Q2_0. s2 s3 s4

Какие ограничения и права?

Карточки этих весов и их файлы LICENSE указывают Apache 2.0; исходные модели Qwen3.5 также имеют Apache 2.0. Код демонстрационного проекта распространяется отдельно под Apache 2.0. Это открытые веса и конкретные условия использования, а не обещание бесплатной работы любого внешнего сервиса. При повторном распространении проверяйте уведомления NOTICE и лицензии используемых компонентов. s2 s3 s4 s5 s9

Прежде чем переносить домашний эксперимент на важные документы или автоматические действия, проверьте типичные собственные запросы и ответы. Если интересна более крупная версия, сравните с Bonsai 2 27B.