Перейти к содержанию
modelium.
Начать с задачи
←
Новость

Underdog-Ternary 1.1: тернарная 27B-модель для Splash и MLX на Mac

На странице · 4 разделов

ConwayResearch выложила Underdog-Ternary 1.1 — дообученную, по заявлению авторов, версию Bonsai 2 на 27 млрд параметров. Доступны отдельный PQ2_0 GGUF для Splash и пакет MLX со специальным Hadamard-aware загрузчиком; обычная загрузка MLX как стандартной affine-модели не подходит. Apache 2.0 указана в карточке и LICENSE, а приведённые скорости на M5 Max — результаты авторов, не тест Modelium. [[s1]] [[s2]] [[s3]]

Что выпущено

4 октября 2026 года ConwayResearch создала репозиторий Underdog-Ternary 1.1 и загрузила PQ2_0 GGUF и отдельный MLX-пакет. Авторы называют её 27-миллиардной тернарной ассистентской моделью на основе Bonsai 2 с дополнительным post-training для диалога, текстов, кода и суммаризации. Данных для независимой оценки качества именно этого дообучения в карточке нет: не стоит считать новый суффикс версии доказательством улучшения во всех задачах. s1 s2 s3

Это не новая архитектура Qwen и не обновление исходной статьи о Bonsai 2. Практическая новость — самостоятельный чекпойнт для двух локальных путей: GGUF в Splash и MLX со своим загрузчиком. s1 s7

Как выбрать пакет

  • Splash на Apple Silicon: в закреплённом дереве есть Underdog-PQ2_0.gguf (7 206 168 928 байт). Карточка модели предлагает splash serve --model ConwayResearch/Underdog-Ternary-1.1:PQ2_0 --language-only --default-reasoning-effort medium. Splash 1.1.0 добавил поддержку формата Prism Bonsai PQ2_0, а стабильный 1.2.0 уже вышел; точный запуск Underdog на вашем Mac мы не проверяли. Документация Splash указывает Apple M3 или новее и macOS 26.4 или новее как программно-платформенные условия, но размер файла не является требованием к памяти. s1 s2 s4 s5
  • MLX: mlx/model.safetensors (8 595 475 248 байт) нужно брать вместе с конфигурацией, токенизатором, шаблоном и mlx/runtime/. В конфигурации указан prism_hadamard_qwen35 и двухбитная affine-квантизация; код пакета прямо предупреждает, что обычный affine-загрузчик пропустит преобразования активаций и обратное преобразование embedding. Не подменяйте комплектный загрузчик произвольным примером mlx_lm.load и не считайте MLX-файл совместимым с GGUF-движком. s1 s2 s6

Квантизация и размеры этих двух артефактов не говорят, сколько унифицированной памяти потребуется с выбранной длиной контекста, KV-кэшем и параллелизмом. Сначала выберите движок и формат; перед рабочим использованием проверьте ответ на собственных текстовых задачах. Мы не загружали веса и не измеряли качество либо скорость.

Что означают цифры автора

Карточка ConwayResearch приводит на Apple M5 Max (40 GPU-ядер, 48 ГиБ unified memory) в тесте генерации кода 157,9 токена/с у Splash с DFlash2, 45,4 у GGUF/llama.cpp и 41,0 у комплектного MLX-загрузчика. Для письма и суммаризации результаты другие: 78,2 и 75,4 токена/с у Splash соответственно. Это авторские замеры среднего из двух запусков на задачу, с temperature 0, выключенным thinking и лимитом 512 выходных токенов. Длины входа составляли 43, 44 и 3003 токена; загрузка и прогрев исключены, длины фактического ответа могут различаться, а движки измерялись отдельно. Эти числа нельзя превращать в независимый рейтинг качества, универсальное ускорение или минимальную конфигурацию Mac. s1

Лицензия и ограничение

Карточка и файл LICENSE этого релиза помечены Apache 2.0. У исходного Bonsai 2 в NOTICE обозначены Prism ML и база Qwen3.8-27B под Apache 2.0. Это разрешительная лицензия с условиями сохранения уведомлений и лицензии при распространении, а не доказательство, что все элементы экосистемы и любые сторонние сервисы имеют одинаковые права. Проверяйте условия каждого используемого пакета отдельно. s3 s7

Следующий шаг: если уже используете PQ2_0 Bonsai на совместимом Mac, возьмите Underdog как отдельный кандидат для A/B-проверки на одинаковых промптах, не заменяя рабочую конфигурацию по одному авторскому бенчмарку. Для предыстории формата и доступных вариантов смотрите наш материал о Bonsai 2. s1

Источники