llama.cpp b11156 добавил Ling-3.0-flash-VL: локальные изображения и видео

Что именно изменилось

Смерженный PR #29151 встроил Ling-3.0-flash-VL в архитектуру BailingMoeV3, добавил обработку зрительной башни, projector и позиционного кодирования изображений/видео в мультимодальный код llama.cpp. Автор PR сообщает, что конвертировал полный оригинальный чекпойнт в BF16 GGUF (248,9 ГБ файлов, отдельно мультимодальный projector), прошёл тест архитектуры и получил ответы на запросы с изображением и видео через llama-server. Это результаты автора изменения, а не тесты Modelium и не независимое подтверждение качества или скорости. s2 s4

У исходной Ling-3.0-flash-VL, по карточке создателя, 124 млрд параметров всего и около 5,5 млрд активируемых на токен, поддерживаются изображения и видео. Активные параметры не равны общему объёму весов, а 248,9 ГБ — размер полученного автором BF16 GGUF, не минимальное требование к RAM/VRAM. Размер контекста до 256K — заявленная характеристика модели; не следует автоматически переносить её на непроверенную конфигурацию llama.cpp. s3 s4

Как подойти к локальному запуску

1. Возьмите исходные Safetensors и процессор из закреплённой ревизии inclusionAI/Ling-3.0-flash-VL. В репозитории есть 64 части model-*.safetensors и индекс; карточка модели помечена MIT, доступ к весам открыт без gating. Не путайте лицензию модели с MIT-лицензией кода llama.cpp. s3 s5
2. Для самостоятельной конвертации используйте инструменты из исходного кода llama.cpp, содержащего PR #29151, и подготовьте два артефакта: основной GGUF и отдельный мультимодальный projector. Одного текстового GGUF недостаточно, чтобы обрабатывать изображения. Если берёте готовую конверсию сообщества, отдельно проверьте её ревизию, полноту шардов и совместимость с b11156: авторский PR проверял именно собственную BF16-конверсию, а не все сторонние кванты. s2 s4
3. Запускайте llama-server из b11156 или более позднего исходного кода с основной моделью и projector, следуя мультимодальной документации llama.cpp. Начните с одного изображения и короткого видео и проверьте результат на своей конфигурации до рабочего внедрения. Не принимайте список бинарных сборок как доказательство, что каждая аппаратная платформа протестирована с этой крупной моделью. s1 s2

Если нужен более документированный путь для оригинальных весов без самостоятельной GGUF-конвертации, карточка inclusionAI отдельно приводит команды SGLang и форка vLLM. Приведённая там многопроцессорная GPU-конфигурация — проверенный автором рецепт для конкретного режима, а не универсальный минимум для GGUF или llama.cpp. s3

Статус и ограничения

На 24 сентября b11156 — ежедневная предварительная сборка, а не следующий стабильный релиз llama.cpp после 0.5.0. В PR есть успешная авторская функциональная проверка image/video, но нет независимого набора тестов производительности и качества на разных квантованиях. Карточка модели указывает MIT; лицензию конкретной сторонней конверсии и применимость этого обозначения к зависимым компонентам следует проверять отдельно. Для продакшена целесообразно фиксировать ревизии модели и движка, проверять выводы на собственных данных и дождаться стабильного выпуска, если prerelease недопустим. s1 s2 s3 s5