# llama.cpp b11700: Granite Switch 4.1 теперь оценивает варианты ответа

Источник: https://modelium.tech/zhurnal/llama-cpp-b11700-granite-switch-decision/

Выпуск llama.cpp b11700 от 16 октября 2026 года добавил для Granite Switch 4.1 8B отдельный режим выбора из заданных вариантов наряду с обычным чатом. Это пригодится, например, чтобы направлять обращения в нужный отдел на собственном сервере. Готового домашнего приложения в один клик выпуск не обещает: модель потребуется преобразовать в GGUF и настроить сервер.

llama.cpp b11700: Granite Switch 4.1 теперь оценивает варианты ответа

Если вы храните обращения клиентов у себя и хотите автоматически выбирать отдел, новый выпуск llama.cpp даёт ещё один локальный путь: Granite Switch 4.1 8B умеет не только отвечать в чате, но и оценивать заранее заданные варианты. В b11700, опубликованном 16 октября 2026 года, разработчики добавили поддержку этого режима. Это инженерная новость, а не обещание домашней установки в один клик. [s1](#src-s1) [s2](#src-s2)

## Что именно появилось?

Granite Switch 4.1 — уже выпущенная модель IBM; новые веса в этом обновлении llama.cpp не появились. Изменился способ работы с ней в программе для локального запуска: автор изменения добавил преобразование исходных весов в формат GGUF с пометкой режима «решение», а сервер llama.cpp — поддержку запросов к `/v1/systemone`. При этом тот же вариант модели, по данным разработчика, продолжает отвечать в обычном чате. Пример автора проверен им на BF16 и Q4_K_M, но Modelium модель не запускал. [s2](#src-s2) [s3](#src-s3) [s4](#src-s4)

Представьте сообщение: «Платёж списали дважды». Приложение заранее задаёт варианты «оплата», «вход» и «другое»; модель возвращает оценки вариантов, после чего человек или программа решает, куда передать обращение. Эти числа не гарантируют правильной категории и, согласно документации сервера, не обязаны быть откалиброваны для ваших данных: спорные случаи проверяйте вручную. [s2](#src-s2) [s4](#src-s4)

## Можно ли попробовать это на своём компьютере?

Исходные веса IBM доступны в четырёх частях: индекс весов перечисляет все четыре файла, и они присутствуют в списке репозитория. Карточка помечает веса Apache-2.0; у кода llama.cpp отдельная лицензия MIT. Наличие весов и бинарного выпуска не определяет минимальную оперативную или видеопамять вашего компьютера. [s3](#src-s3) [s5](#src-s5) [s6](#src-s6)

Практический путь пока рассчитан на разработчика: получить веса IBM, преобразовать их средствами этой версии llama.cpp в GGUF, поднять `llama-server` и передать состояние с вариантами ответа в `/v1/systemone`. Команды и результаты в запросе на включение функции принадлежат автору изменения; редакция не воспроизводила полный запуск и потому не выдаёт их за проверенный домашний рецепт. Для начала посмотрите [карточку Granite Switch 4.1 8B](https://huggingface.co/ibm-granite/granite-switch-4.1-8b) и [пример разработчика](https://github.com/ggml-org/llama.cpp/pull/30676), затем сопоставьте требования своей машины с выбранной сборкой. [s2](#src-s2) [s3](#src-s3)

## Чего этот выпуск не подтверждает?

Изменение касается прежде всего текстового чата и оценки вариантов для 8B. Не переносите его автоматически на 30B, аудиоввод или все адаптеры Granite Switch: описанный автором тест ограничен конкретной 8B-моделью и двумя форматами весов. Расширение числа вариантов ответа до 256 на момент проверки вынесено в отдельный, ещё открытый запрос на изменение; его не следует считать частью b11700. [s2](#src-s2) [s7](#src-s7)

Общее устройство моделей IBM 8B и 30B и ограничения речи мы уже [разобрали отдельно](https://modelium.tech/zhurnal/granite-switch-4-1-8b-30b-local-ai/). Эта новость — о новой поддержке режима выбора в llama.cpp, а не о повторном выпуске моделей.

Источники проверены 16 октября 2026 года; выпуск llama.cpp b11700, ревизия 23f7aabc; карточка весов IBM, ревизия 0d1625d. [s1](#src-s1) [s3](#src-s3)

## Источники

1. [ggml-org/llama.cpp: release b11700](https://github.com/ggml-org/llama.cpp/releases/tag/b11700) — получено 2026-10-16
2. [ggml-org/llama.cpp PR #30676: Granite Switch decision](https://github.com/ggml-org/llama.cpp/pull/30676) — получено 2026-10-16
3. [IBM Granite Switch 4.1 8B, pinned model card](https://huggingface.co/ibm-granite/granite-switch-4.1-8b/blob/0d1625d16df2d54cafb6bc5cb0650aec043f77d6/README.md) — получено 2026-10-16
4. [llama.cpp b11700: server API reference](https://github.com/ggml-org/llama.cpp/blob/b11700/tools/server/README.md) — получено 2026-10-16
5. [IBM Granite Switch 4.1 8B, pinned weight index](https://huggingface.co/ibm-granite/granite-switch-4.1-8b/blob/0d1625d16df2d54cafb6bc5cb0650aec043f77d6/model.safetensors.index.json) — получено 2026-10-16
6. [llama.cpp b11700 code license (MIT)](https://github.com/ggml-org/llama.cpp/blob/b11700/LICENSE) — получено 2026-10-16
7. [ggml-org/llama.cpp PR #30693: follow-up options expansion](https://github.com/ggml-org/llama.cpp/pull/30693) — получено 2026-10-16