ZDTaichu5.0-9B: официальные GGUF для локального анализа изображений

Что можно скачать

В закреплённом дереве доступны BF16, Q8_0, Q6_K, Q5_K_M, Q5_0 и Q4_K_M для языковой части; для зрения — отдельные mmproj-ZDTaichu5.0-9B-BF16.gguf и mmproj-ZDTaichu5.0-9B-Q8_0.gguf. Например, файл языковой части Q4_K_M занимает 5 629 109 120 байт, Q8_0 — 9 527 501 696 байт, а проектор Q8_0 — 880 407 072 байта по манифесту Hugging Face. Это объём файлов, не минимальное требование к RAM или VRAM: при инференсе понадобятся также память под контекст, активации и граф вычислений. s1 s3

ZDTaichu5.0-9B соединяет языковую основу Qwen3.5-9B и визуальный энкодер C-RADIOv4-H. Авторы описывают задачи с текстом, изображениями, несколькими кадрами, документами и пространственными отношениями. Практический сценарий — локально задать вопрос к схеме помещения, диаграмме или фотографии. Для такого сценария одного GGUF языковой части недостаточно: потребуется совместимый визуальный проектор и runtime, корректно понимающий архитектуру. s1 s4

Порядок проверки локального запуска

1. Выберите GGUF языковой части и соответствующий файл mmproj из официального репозитория; сохраните ссылки на ревизию 94305508d52ebb3e367351fbe8ec6160d596307c.
2. Уточните в документации конкретной версии вашего runtime поддержку этой архитектуры и двухкомпонентного мультимодального ввода. Карточка авторов заявляет совместимость с llama.cpp и Ollama, но не закрепляет проверенную версию каждого runtime, а Modelium не проводил самостоятельный тест запуска. Поэтому мы не выдаём произвольную команду за воспроизводимый рецепт. s1
3. Сначала проверьте простой текстовый запрос, затем запрос к одному изображению; отдельно замерьте скорость, пиковую память и качество на своих данных. GGUF-квантизации не сопровождаются в этой карточке отдельными сопоставимыми результатами оценки качества; цифры базовой модели нельзя автоматически переносить на Q4_K_M. s1 s4

Если нужна документированная альтернативная среда для исходных Safetensors, базовая карточка описывает путь через Transformers и отдельный форк vLLM. Это другой формат и другой стек; команды из той карточки не являются инструкцией запуска GGUF. trust_remote_code=True в примере Transformers означает исполнение кода из репозитория: перед использованием проверьте закреплённую ревизию. s4

Лицензия и авторские оценки

Основной репозиторий содержит текст NVIDIA Open Model License для визуального компонента и производных обязательств. В уведомлениях отдельно оставлена Apache 2.0 для языковой основы Qwen3.5 и отдельных файлов кода. Лицензия NVIDIA предусматривает коммерческое использование при соблюдении условий, включая обязательства при распространении и ограничения по использованию; это не равнозначно утверждению, что весь набор файлов находится под Apache 2.0. В отдельном GGUF-репозитории нет собственного файла LICENSE, поэтому перед внедрением или перераспространением читайте лицензии и NOTICE исходной модели и проверяйте права на все компоненты. s5 s6 s1

Карточка базовой модели приводит авторские, а не независимые результаты: например, 62,50 на ViewSpatial и 47,20 на MMSI-Bench. Авторы сообщают, что для ряда пространственных тестов добавляли к запросу требование выводить рассуждение в <think> и финальный ответ в \boxed{}; для локальных agent-оценок применялся DeepSeek-V4-Flash-0731 как симулированный пользователь и/или судья. Эти оценки относятся к представленному базовому стеку; для официальных GGUF-квантов сопоставимая таблица в карточке не опубликована. s4 s1

Вывод: официальный пакет полезен тем, кто хочет проверить визуальную модель в GGUF-экосистеме без самостоятельной конверсии. Но покупку оборудования, совместимость конкретного сборочного тега и точность квантов следует решать по собственному тесту, а не по размеру файла или результатам базового BF16-чекпойнта.