llama.cpp b11700: Granite Switch 4.1 теперь оценивает варианты ответа

Что именно появилось?

Granite Switch 4.1 — уже выпущенная модель IBM; новые веса в этом обновлении llama.cpp не появились. Изменился способ работы с ней в программе для локального запуска: автор изменения добавил преобразование исходных весов в формат GGUF с пометкой режима «решение», а сервер llama.cpp — поддержку запросов к /v1/systemone. При этом тот же вариант модели, по данным разработчика, продолжает отвечать в обычном чате. Пример автора проверен им на BF16 и Q4_K_M, но Modelium модель не запускал. s2 s3 s4

Представьте сообщение: «Платёж списали дважды». Приложение заранее задаёт варианты «оплата», «вход» и «другое»; модель возвращает оценки вариантов, после чего человек или программа решает, куда передать обращение. Эти числа не гарантируют правильной категории и, согласно документации сервера, не обязаны быть откалиброваны для ваших данных: спорные случаи проверяйте вручную. s2 s4

Можно ли попробовать это на своём компьютере?

Исходные веса IBM доступны в четырёх частях: индекс весов перечисляет все четыре файла, и они присутствуют в списке репозитория. Карточка помечает веса Apache-2.0; у кода llama.cpp отдельная лицензия MIT. Наличие весов и бинарного выпуска не определяет минимальную оперативную или видеопамять вашего компьютера. s3 s5 s6

Практический путь пока рассчитан на разработчика: получить веса IBM, преобразовать их средствами этой версии llama.cpp в GGUF, поднять llama-server и передать состояние с вариантами ответа в /v1/systemone. Команды и результаты в запросе на включение функции принадлежат автору изменения; редакция не воспроизводила полный запуск и потому не выдаёт их за проверенный домашний рецепт. Для начала посмотрите карточку Granite Switch 4.1 8B и пример разработчика, затем сопоставьте требования своей машины с выбранной сборкой. s2 s3

Чего этот выпуск не подтверждает?

Изменение касается прежде всего текстового чата и оценки вариантов для 8B. Не переносите его автоматически на 30B, аудиоввод или все адаптеры Granite Switch: описанный автором тест ограничен конкретной 8B-моделью и двумя форматами весов. Расширение числа вариантов ответа до 256 на момент проверки вынесено в отдельный, ещё открытый запрос на изменение; его не следует считать частью b11700. s2 s7

Общее устройство моделей IBM 8B и 30B и ограничения речи мы уже разобрали отдельно. Эта новость — о новой поддержке режима выбора в llama.cpp, а не о повторном выпуске моделей.

Источники проверены 16 октября 2026 года; выпуск llama.cpp b11700, ревизия 23f7aabc; карточка весов IBM, ревизия 0d1625d. s1 s3