# Decision 2.0 Lux 9B в GGUF: локальные решения через llama.cpp и SystemOne

Источник: https://modelium.tech/zhurnal/decision-2-lux-9b-gguf-local-systemone/

4 октября 2026 года Livesport опубликовала GGUF-конверсию Decision-2.0-Lux-9B с отдельной головой принятия решений и референсным сервером SystemOne. Квантованный файл занимает 6,10 ГБ на диске; для работы нужен специальный bridge к llama.cpp и файлы из того же репозитория. Модель возвращает выбор, вероятность и оценку, а не генерирует текст. Заявленные точность и работа на 8-ГБ GPU — измерения автора для конкретной конфигурации, не тест Modelium и не универсальное требование к памяти.

## Что появилось

4 октября 2026 года Livesport загрузила на Hugging Face конверсию `Decision-2.0-Lux-9B-Q4_K_M-dyn.gguf` и исходники локального сервера. Закреплённая ревизия `b92a96a8eaf7eaeffd0234a6cf8fb49b81f79937` содержит GGUF размером 6 104 187 872 байта, отдельный `decision_head.safetensors` размером 16 845 656 байт, конфигурацию, токенизатор, Python-сервер и C++ bridge. История репозитория датирует загрузку 4 октября; размер файла — **не** минимальное требование к RAM или VRAM. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

Основа — выпущенная командой vLLM Semantic Router модель Decision-2.0-Lux-9B. Её исходный пакет опубликован под Apache-2.0; у конверсии также есть собственный файл LICENSE с Apache-2.0. Это доступные веса и исходники сервера, но не гарантия совместимости с любым стандартным GGUF-клиентом. Название «9B» — имя модели; исходная карточка отдельно указывает 7,94 млрд параметров. [s1](#src-s1) [s4](#src-s4) [s5](#src-s5)

## Зачем это нужно локальному приложению

Decision 2.0 отвечает на структурированные вопросы о переданном контексте: выбрать категорию заявки (`choice`), ответить «да/нет» (`noul`) или оценить по шкале (`score`), сохранив вероятности вариантов. Это подходит для маршрутизации обращений и проверок правил до вызова других инструментов. **Это не текстовый чат:** карточка конверсии прямо говорит об отсутствии обученной головы генерации текста. Для нескольких вопросов сервер использует общий префикс контекста, но практический выигрыш зависит от формы запроса. [s1](#src-s1) [s4](#src-s4)

Файл GGUF содержит квантованную текстовую основу, однако результат требует отдельной candidate head, `decision2/` и `serving/lux_api.py`. В комплекте есть `serving/dec2_bridge.cpp`: он читает скрытые состояния через API llama.cpp, после чего исходная голова рассчитывает вероятности. Обычная загрузка `.gguf` в Ollama или LM Studio не воспроизводит SystemOne API. Автор проверял сборку на конкретном коммите llama.cpp `8212c7802455255460ab8e18fc34754560031b34`; инструкции в карточке требуют собранную библиотеку libllama и Python-зависимости. Перед внедрением нужно закрепить этот коммит, собрать bridge и проверять HTTP `POST /v1/systemone` на своих данных. Modelium эту сборку и запрос не выполнял. [s1](#src-s1) [s6](#src-s6)

## Что известно о качестве и памяти

По измерениям автора, на 900 вопросах из BoolQ, AG News и SST-2 Q4_K_M-dyn совпала с bf16-эталоном в 99,4% выбранных вариантов; ещё 24 длинных синтетических контекста по пять вопросов использованы для отдельного сравнения вероятностей. Автор сообщает среднюю KL-дивергенцию 0,00053 для Q4-варианта. Не путайте совпадение решений с точностью по правильным меткам и не переносите результаты этих наборов на собственные классы. Это авторская проверка относительно bf16-сборки, а не независимый тест качества Modelium. [s1](#src-s1)

Автор приводит около 6,6 ГБ потребления GPU-памяти для одного запроса при контексте 16 тысяч токенов и `n_ubatch=512`; эмбеддинги токенов остаются в оперативной памяти хоста, также работает Python-процесс. Заявление о 8-ГБ GPU относится к этой конфигурации и не является обещанием запуска на любой видеокарте или в произвольном контексте. Скорости HTTP-запроса измерялись автором на NVIDIA GB10, а не на разных потребительских GPU. [s1](#src-s1)

## Как принять решение

Если вам нужен локальный API структурированного выбора и вы готовы поддерживать собственную сборку llama.cpp, сравните эту конверсию с исходным Transformers-пакетом на ваших заданиях: отдельно проверьте согласие выбранных вариантов, калибровку вероятностей и пиковую память **GPU и хоста**. Если нужен готовый стандартный GGUF-чат без bridge или генерация текста, этот пакет не подходит. Для более компактного ONNX-пути семейства Decision 2.0 можно отдельно рассмотреть Kai, Eos и Sol; это другие размеры и модели, а не прямые квантизации Lux. [s1](#src-s1) [s4](#src-s4)

## Источники

1. [Livesport: закреплённая карточка Decision 2.0 Lux 9B GGUF](https://huggingface.co/Livesport/Decision-2.0-Lux-9B-GGUF/blob/b92a96a8eaf7eaeffd0234a6cf8fb49b81f79937/README.md) — получено 2026-10-04
2. [Hugging Face API: закреплённое дерево и размеры файлов конверсии](https://huggingface.co/api/models/Livesport/Decision-2.0-Lux-9B-GGUF/tree/b92a96a8eaf7eaeffd0234a6cf8fb49b81f79937?recursive=true&limit=100) — получено 2026-10-04
3. [Hugging Face: история коммитов Livesport Decision 2.0 Lux GGUF](https://huggingface.co/Livesport/Decision-2.0-Lux-9B-GGUF/commits/main) — получено 2026-10-04
4. [vLLM Semantic Router: исходная модель Decision-2.0-Lux-9B](https://huggingface.co/vllm-sr/Decision-2.0-Lux-9B/blob/78bf3c03d9147aeb30b641edfe0e30ed04887ca5/README.md) — получено 2026-10-04
5. [Livesport: LICENSE конверсии](https://huggingface.co/Livesport/Decision-2.0-Lux-9B-GGUF/blob/b92a96a8eaf7eaeffd0234a6cf8fb49b81f79937/LICENSE) — получено 2026-10-04
6. [Livesport: исходник bridge для llama.cpp](https://huggingface.co/Livesport/Decision-2.0-Lux-9B-GGUF/blob/b92a96a8eaf7eaeffd0234a6cf8fb49b81f79937/serving/dec2_bridge.cpp) — получено 2026-10-04