# Rune 26B-A4B: GGUF decision-модель для текста и изображений с запуском в llama.cpp

Источник: https://modelium.tech/zhurnal/rune-26b-a4b-gguf-local-decision-model/

Invergent опубликовала Rune 26B-A4B — специализированную MoE-модель для выбора решений по тексту и изображениям. Доступны пять GGUF-квантов, vision-projector и локальный запуск через llama.cpp или Surogate 1.5.1. Репозиторий весов и исходная Gemma 4 26B-A4B-it заявлены под Apache-2.0; приведённые точность и задержки — измерения авторов, а не тесты Modelium.

## Что выпустили

Invergent опубликовала **Rune 26B-A4B** — специализированную decision-модель для текста, структурированных данных и изображений. Вместо свободной генерации ей передают состояние, вопрос и варианты ответа; модель выбирает вариант и возвращает распределение вероятностей. Карточка описывает три режима: `choice` для выбора одного варианта, `noul` для оценки истинности утверждения и `score` для позиции на порядковой шкале. Авторы заявляют контекст до 262 тысяч токенов и получение решения за один forward pass. [s1](#src-s1)

Публичный репозиторий содержит именно **квантизованные GGUF-веса**, а не только код или адаптер. Архитектура в метаданных обозначена как Gemma 4, а карточка ссылается на семейство Google Gemma 4. Исходная `google/gemma-4-26B-A4B-it` и репозиторий Rune помечены лицензией Apache-2.0. [s1](#src-s1) [s5](#src-s5)

## Что можно скачать

В закреплённой ревизии доступны пять вариантов модели:

- `rune-26b-a4b-JD-Q3_K_M.gguf` — 13 522 986 752 байта;

- `rune-26b-a4b-JD-Q4_K_M.gguf` — 17 033 530 784 байта;

- `rune-26b-a4b-JD-Q5_K_M.gguf` — 19 320 866 208 байт;

- `rune-26b-a4b-JD-Q6_K.gguf` — 22 817 183 648 байт;

- `rune-26b-a4b-Q8_0.gguf` — 26 859 861 152 байта. [s2](#src-s2)

Для изображений отдельно опубликованы `mmproj-BF16.gguf`, `mmproj-F16.gguf` и `mmproj-F32.gguf`. В дереве также есть decision-specific importance matrix размером 56 941 536 байт. Размер файлов показывает только объём артефактов и **не является минимальным требованием к RAM или VRAM**. Фактическая конфигурация зависит от движка, выбранного кванта, длины контекста, KV-кэша и распределения слоёв. [s2](#src-s2)

## Локальный запуск через llama.cpp

Карточка модели приводит прямой запуск через `llama-server`:

llama-server \  -m rune-26b-a4b-JD-Q4_K_M.gguf \  -ngl 99 -fa on --jinja \  --mmproj mmproj-F16.gguf \  --image-min-tokens 280 \  --image-max-tokens 280

`--jinja` применяет встроенный chat template, а `mmproj` нужен для обработки изображений. Значения `image-min-tokens` и `image-max-tokens` повторяют 280-токенный бюджет изображения, указанный авторами. [s1](#src-s1)

Это важное отличие от decision-моделей, доступных только через собственный Python-код: Rune можно подключать к привычному локальному серверу llama.cpp и использовать через его API. Однако совместимость команды не означает, что любой существующий build llama.cpp уже содержит все необходимые изменения — перед развёртыванием стоит проверить свежую сборку на выбранном кванте и модальности.

## Surogate 1.5.1 и специализированный API

Альтернативный путь — движок **Surogate 1.5.1**. Стабильный релиз опубликован 22 сентября 2026 года и добавляет endpoint `POST /api/alpha/decisions`, совместное переиспользование prefill для состояния и улучшения prefill для нескольких K-quant форматов. В релизе доступны установочный скрипт и wheel для CUDA 13.0. [s3](#src-s3)

Карточка Rune рекомендует контейнер `ghcr.io/invergent-ai/surogate:1.5.1` и показывает запуск Q4_K_M через `serve`. Для изображений добавляются `--vision` и путь к projector-файлу. Пример с Q8_0 использует уменьшенный KV pool на 32-гигабайтной видеокарте, но это **пример авторской конфигурации, а не заявленный минимум оборудования**. [s1](#src-s1)

Код Surogate опубликован отдельно под Apache-2.0. Поэтому здесь важно различать артефакты: веса Rune доступны в своём HF-репозитории, а runtime — в GitHub-репозитории движка. [s1](#src-s1) [s4](#src-s4)

## Что заявляют авторские тесты

Все результаты ниже принадлежат авторам Rune; Modelium модель не тестировал.

На замороженном наборе из **18 028 решений в 12 доменах** карточка приводит 81,60% accuracy для Rune. Для сравнения в той же таблице указаны 82,41% у Jev, 50,15% у SemIf на базе Qwen3.5-4B и 37,80% у Laya 421M. Авторы отдельно отмечают, что score-задачи не входят в accuracy и оцениваются по калибровке. [s1](#src-s1)

Для изображений приведён ScienceQA test с 2 017 вопросами, содержащими диаграммы. Заявленная accuracy составляет 92,22% у Q4_K_M, Q5_K_M и Q8_0, 92,12% у Q6_K и 91,22% у Q3_K_M. Эти цифры нельзя переносить на произвольные визуальные задачи без независимой проверки. [s1](#src-s1)

Измерения задержки выполнены авторами на одной NVIDIA RTX 5090 с ограничением мощности 400 Вт. Для текстовых решений с промптами от 104 до 1 333 токенов карточка показывает медиану от десятков до сотен миллисекунд в зависимости от кванта и длины входа. Для ScienceQA с изображением указана медиана 169–195 мс. Это не универсальная оценка производительности: результаты зависят от конкретной видеокарты, формата весов, версии движка и параметров сервера. [s1](#src-s1)

## Лицензия и коммерческое использование

Репозиторий Rune, исходная `google/gemma-4-26B-A4B-it` и код Surogate указывают **Apache License 2.0**. В этих первоисточниках нет ограничения «только для исследований» или запрета коммерческого применения. Apache-2.0 допускает коммерческое использование при соблюдении её условий, включая сохранение требуемых уведомлений и лицензионного текста. [s1](#src-s1) [s4](#src-s4) [s5](#src-s5)

Это не делает все внешние данные и сценарии автоматически свободными от ограничений: при внедрении нужно отдельно проверить происхождение собственных датасетов, пользовательского контента и интегрируемых компонентов.

## Практическая ценность

Rune интересна не как ещё один чат-бот, а как локальный компонент для задач, где ответ заранее ограничен набором действий:

- маршрутизация запроса между моделями и инструментами;

- выбор следующего действия агента;

- классификация документов и изображений;

- ранжирование вариантов по порядковой шкале;

- оценка истинности утверждения с вероятностью;

- повторное использование общего состояния для серии решений через специализированный API.

Главный практический плюс релиза — сочетание открыто доступных GGUF-весов, мультимодального projector-файла и двух путей локального запуска. Для первого теста рационально начать с Q4_K_M, зафиксировать версию runtime и проверить калибровку на собственном наборе решений. Авторские benchmark-таблицы полезны как ориентир, но не заменяют проверку на реальном распределении задач.

## Источники

1. [Surogate Rune 26B-A4B GGUF — model card, revision 7d13255](https://huggingface.co/surogate/rune-26b-a4b-GGUF/blob/7d13255ecffcbb8440d89715e5a30b9dd955af40/README.md) — получено 2026-09-22
2. [Surogate Rune 26B-A4B GGUF — immutable file tree](https://huggingface.co/api/models/surogate/rune-26b-a4b-GGUF/tree/7d13255ecffcbb8440d89715e5a30b9dd955af40?recursive=true&expand=false) — получено 2026-09-22
3. [invergent-ai/surogate v1.5.1 release](https://github.com/invergent-ai/surogate/releases/tag/v1.5.1) — получено 2026-09-22
4. [invergent-ai/surogate GitHub repository](https://github.com/invergent-ai/surogate) — получено 2026-09-22
5. [Google Gemma 4 26B-A4B-it — model card, revision 4d7ae49](https://huggingface.co/google/gemma-4-26B-A4B-it/blob/4d7ae4984b7db7de8f8457170b3f1a419ee76d52/README.md) — получено 2026-09-22