Rune 26B-A4B: GGUF decision-модель для текста и изображений с запуском в llama.cpp

Что можно скачать

В закреплённой ревизии доступны пять вариантов модели:

• rune-26b-a4b-JD-Q3_K_M.gguf — 13 522 986 752 байта;
• rune-26b-a4b-JD-Q4_K_M.gguf — 17 033 530 784 байта;
• rune-26b-a4b-JD-Q5_K_M.gguf — 19 320 866 208 байт;
• rune-26b-a4b-JD-Q6_K.gguf — 22 817 183 648 байт;
• rune-26b-a4b-Q8_0.gguf — 26 859 861 152 байта. s2

Для изображений отдельно опубликованы mmproj-BF16.gguf, mmproj-F16.gguf и mmproj-F32.gguf. В дереве также есть decision-specific importance matrix размером 56 941 536 байт. Размер файлов показывает только объём артефактов и не является минимальным требованием к RAM или VRAM. Фактическая конфигурация зависит от движка, выбранного кванта, длины контекста, KV-кэша и распределения слоёв. s2

Локальный запуск через llama.cpp

Карточка модели приводит прямой запуск через llama-server:

llama-server \
-m rune-26b-a4b-JD-Q4_K_M.gguf \
-ngl 99 -fa on --jinja \
--mmproj mmproj-F16.gguf \
--image-min-tokens 280 \
--image-max-tokens 280

--jinja применяет встроенный chat template, а mmproj нужен для обработки изображений. Значения image-min-tokens и image-max-tokens повторяют 280-токенный бюджет изображения, указанный авторами. s1

Это важное отличие от decision-моделей, доступных только через собственный Python-код: Rune можно подключать к привычному локальному серверу llama.cpp и использовать через его API. Однако совместимость команды не означает, что любой существующий build llama.cpp уже содержит все необходимые изменения — перед развёртыванием стоит проверить свежую сборку на выбранном кванте и модальности.

Surogate 1.5.1 и специализированный API

Альтернативный путь — движок Surogate 1.5.1. Стабильный релиз опубликован 22 сентября 2026 года и добавляет endpoint POST /api/alpha/decisions, совместное переиспользование prefill для состояния и улучшения prefill для нескольких K-quant форматов. В релизе доступны установочный скрипт и wheel для CUDA 13.0. s3

Карточка Rune рекомендует контейнер ghcr.io/invergent-ai/surogate:1.5.1 и показывает запуск Q4_K_M через serve. Для изображений добавляются --vision и путь к projector-файлу. Пример с Q8_0 использует уменьшенный KV pool на 32-гигабайтной видеокарте, но это пример авторской конфигурации, а не заявленный минимум оборудования. s1

Код Surogate опубликован отдельно под Apache-2.0. Поэтому здесь важно различать артефакты: веса Rune доступны в своём HF-репозитории, а runtime — в GitHub-репозитории движка. s1 s4

Что заявляют авторские тесты

Все результаты ниже принадлежат авторам Rune; Modelium модель не тестировал.

На замороженном наборе из 18 028 решений в 12 доменах карточка приводит 81,60% accuracy для Rune. Для сравнения в той же таблице указаны 82,41% у Jev, 50,15% у SemIf на базе Qwen3.5-4B и 37,80% у Laya 421M. Авторы отдельно отмечают, что score-задачи не входят в accuracy и оцениваются по калибровке. s1

Для изображений приведён ScienceQA test с 2 017 вопросами, содержащими диаграммы. Заявленная accuracy составляет 92,22% у Q4_K_M, Q5_K_M и Q8_0, 92,12% у Q6_K и 91,22% у Q3_K_M. Эти цифры нельзя переносить на произвольные визуальные задачи без независимой проверки. s1

Измерения задержки выполнены авторами на одной NVIDIA RTX 5090 с ограничением мощности 400 Вт. Для текстовых решений с промптами от 104 до 1 333 токенов карточка показывает медиану от десятков до сотен миллисекунд в зависимости от кванта и длины входа. Для ScienceQA с изображением указана медиана 169–195 мс. Это не универсальная оценка производительности: результаты зависят от конкретной видеокарты, формата весов, версии движка и параметров сервера. s1

Лицензия и коммерческое использование

Репозиторий Rune, исходная google/gemma-4-26B-A4B-it и код Surogate указывают Apache License 2.0. В этих первоисточниках нет ограничения «только для исследований» или запрета коммерческого применения. Apache-2.0 допускает коммерческое использование при соблюдении её условий, включая сохранение требуемых уведомлений и лицензионного текста. s1 s4 s5

Это не делает все внешние данные и сценарии автоматически свободными от ограничений: при внедрении нужно отдельно проверить происхождение собственных датасетов, пользовательского контента и интегрируемых компонентов.

Практическая ценность

Rune интересна не как ещё один чат-бот, а как локальный компонент для задач, где ответ заранее ограничен набором действий:

• маршрутизация запроса между моделями и инструментами;
• выбор следующего действия агента;
• классификация документов и изображений;
• ранжирование вариантов по порядковой шкале;
• оценка истинности утверждения с вероятностью;
• повторное использование общего состояния для серии решений через специализированный API.

Главный практический плюс релиза — сочетание открыто доступных GGUF-весов, мультимодального projector-файла и двух путей локального запуска. Для первого теста рационально начать с Q4_K_M, зафиксировать версию runtime и проверить калибровку на собственном наборе решений. Авторские benchmark-таблицы полезны как ориентир, но не заменяют проверку на реальном распределении задач.