Decision 3.0 в GGUF: llama.cpp получил поддержку d3

Decision 3.0 в GGUF: llama.cpp получил поддержку d3

Допустим, нужно распределить сообщения покупателей между командами «возврат» и «оплата», не отправляя текст во внешний сервис. 12 октября 2026 года проект ggml-org выложил пакеты d3 в формате GGUF, а в сборку llama.cpp b11572 вошла поддержка этих моделей. Это новый путь для технического локального запуска после выхода исходных весов семейства Decision 3.0; редакция не проверяла саму работу модели на своём оборудовании. s1 s2 s3

Что именно стало доступно?

В репозитории ggml-org лежат три варианта весов старшей d3: BF16, Q8_0 и Q4_K_M, а также два отдельных файла для обработки изображений. GGUF — формат файлов, с которым работает llama.cpp; Q4_K_M и Q8_0 — варианты с уменьшенной точностью хранения. Это не шесть новых моделей и не повторный анонс всей линейки d3: о ней мы уже рассказали отдельно. Пакет Q4_K_M занимает около 19,4 ГБ на диске; эта цифра не означает, что для запуска достаточно стольких же гигабайт оперативной или видеопамяти. Проверенного минимального требования для домашнего компьютера здесь нет. s3 s4

Новая поддержка попала в код llama.cpp через PR #30383, объединённый 12 октября в 13:01 UTC. Бинарная сборка b11572 выпущена в 14:23 UTC и указывает ровно на коммит этого PR; предыдущая b11571 вышла до него. Поэтому для d3 нужен b11572 или более поздний совместимый выпуск, а не произвольная старая версия llama.cpp. Это ежедневная сборка с пометкой prerelease, не отдельный стабильный релиз. s1 s2

Что изменится для человека, который хочет сортировать обращения локально?

Раньше опубликованные исходные веса требовали инженерной настройки Python или сервера в канале разработки. Теперь есть подготовленные GGUF-файлы и сборка llama.cpp с поддержкой d3. Разработчик может передать модели, например, текст «С карты списали оплату дважды» и вопрос «кому направить обращение?» с вариантами «оплата» и «возврат». Ответ модели — выбор из заданных вариантов с оценками, не готовое письмо клиенту. Правильность решения нужно сверять по собственным примерам; само наличие весов и поддержки в коде не доказывает качество на ваших сообщениях. s3 s5

Это пока инженерная новость, не проверенный домашний рецепт. Карточка конверсии предлагает запуск через llama serve -hf ggml-org/vllm-d3-GGUF; для получения ответа нужен специальный запрос к /v1/systemone, а не обычное окно чата. В документации llama.cpp описаны поля state (ситуация) и questions (вопросы и допустимые варианты). Для картинки дополнительно нужен совместимый файл projector — компонент, подающий изображение в модель; наличие этого файла в репозитории не равно испытанию мультимодального сценария редакцией. Утверждать работающий видеозапуск на этой сборке пока нельзя. s3 s5

Что проверить перед использованием?

У карточки GGUF стоит метка Apache-2.0, а в исходном репозитории d3 лежит текст этой лицензии; llama.cpp распространяется по MIT. Apache-2.0 предусматривает и коммерческое применение при соблюдении условий лицензии, в том числе уведомлений; это не освобождает от проверки прав на остальные компоненты своего проекта. Конверсия автоматически собрана из ревизии исходной d3 093cffba…, что отражено в файле происхождения пакета. Независимых замеров скорости, точности после квантования и требований к памяти для этого сочетания Modelium не проводил. s3 s6 s7

Следующий шаг: если нужен выбор из заранее заданных вариантов, откройте карточку готовых GGUF-файлов, проверьте размер нужного файла, лицензию и доступное железо, затем сверяйтесь с документацией /v1/systemone. Для понимания различий между d3 и компактными вариантами начните с обзора семейства Decision 3.0. s3 s4 s5