Decision 2.0 Lux 9B в GGUF: локальные решения через llama.cpp и SystemOne

Зачем это нужно локальному приложению

Decision 2.0 отвечает на структурированные вопросы о переданном контексте: выбрать категорию заявки (choice), ответить «да/нет» (noul) или оценить по шкале (score), сохранив вероятности вариантов. Это подходит для маршрутизации обращений и проверок правил до вызова других инструментов. Это не текстовый чат: карточка конверсии прямо говорит об отсутствии обученной головы генерации текста. Для нескольких вопросов сервер использует общий префикс контекста, но практический выигрыш зависит от формы запроса. s1 s4

Файл GGUF содержит квантованную текстовую основу, однако результат требует отдельной candidate head, decision2/ и serving/lux_api.py. В комплекте есть serving/dec2_bridge.cpp: он читает скрытые состояния через API llama.cpp, после чего исходная голова рассчитывает вероятности. Обычная загрузка .gguf в Ollama или LM Studio не воспроизводит SystemOne API. Автор проверял сборку на конкретном коммите llama.cpp 8212c7802455255460ab8e18fc34754560031b34; инструкции в карточке требуют собранную библиотеку libllama и Python-зависимости. Перед внедрением нужно закрепить этот коммит, собрать bridge и проверять HTTP POST /v1/systemone на своих данных. Modelium эту сборку и запрос не выполнял. s1 s6

Что известно о качестве и памяти

По измерениям автора, на 900 вопросах из BoolQ, AG News и SST-2 Q4_K_M-dyn совпала с bf16-эталоном в 99,4% выбранных вариантов; ещё 24 длинных синтетических контекста по пять вопросов использованы для отдельного сравнения вероятностей. Автор сообщает среднюю KL-дивергенцию 0,00053 для Q4-варианта. Не путайте совпадение решений с точностью по правильным меткам и не переносите результаты этих наборов на собственные классы. Это авторская проверка относительно bf16-сборки, а не независимый тест качества Modelium. s1

Автор приводит около 6,6 ГБ потребления GPU-памяти для одного запроса при контексте 16 тысяч токенов и n_ubatch=512; эмбеддинги токенов остаются в оперативной памяти хоста, также работает Python-процесс. Заявление о 8-ГБ GPU относится к этой конфигурации и не является обещанием запуска на любой видеокарте или в произвольном контексте. Скорости HTTP-запроса измерялись автором на NVIDIA GB10, а не на разных потребительских GPU. s1

Как принять решение

Если вам нужен локальный API структурированного выбора и вы готовы поддерживать собственную сборку llama.cpp, сравните эту конверсию с исходным Transformers-пакетом на ваших заданиях: отдельно проверьте согласие выбранных вариантов, калибровку вероятностей и пиковую память GPU и хоста. Если нужен готовый стандартный GGUF-чат без bridge или генерация текста, этот пакет не подходит. Для более компактного ONNX-пути семейства Decision 2.0 можно отдельно рассмотреть Kai, Eos и Sol; это другие размеры и модели, а не прямые квантизации Lux. s1 s4