llama.cpp b11716: Q1_0 и Q2_0 для Hexagon на Snapdragon

llama.cpp b11716: Q1_0 и Q2_0 для Hexagon на Snapdragon

Если вы запускаете языковую модель прямо на устройстве Snapdragon, новый выпуск llama.cpp расширяет поддержку двух форматов сильно сжатых весов — Q1_0 и Q2_0 — на вычислительном блоке Hexagon. Это новость об экспериментальном движке запуска, а не обещание, что конкретная модель заработает на любом телефоне. Речь о предварительной сборке b11716 от 17 октября 2026 года, не о стабильном релизе. s1 s2

Что именно изменилось

Q1_0 и Q2_0 — форматы хранения весов модели с низкой разрядностью. В слитом изменении разработчики добавили их обработку для умножения матриц (MUL_MAT) — одной из операций при работе модели — на Hexagon. Реализация включает два внутренних вычислительных пути (HVX и HMX) и подготовку весов при загрузке. Это расширяет совместимость llama.cpp с такими файлами модели в формате GGUF именно на поддерживаемом блоке Snapdragon, но не создаёт новых весов модели и не меняет их лицензию. s2 s3

Авторы изменения сообщили о сборке вариантов v73, v75, v79 и v81, о проверке на Android-устройстве SM8850/v81 и о 128 успешных тестах из 128 для каждого формата. Это авторские проверки отдельных операций, не независимый замер скорости генерации и не подтверждение полного запуска любой модели. Modelium модель на таком устройстве не запускал. s2

Кому это может пригодиться сейчас

Тем, кто уже экспериментирует с локальными моделями на Snapdragon через llama.cpp и подбирает GGUF-вариант с Q1_0 или Q2_0. В архиве b11716 опубликованы отдельные сборки для Android arm64 Snapdragon и Linux arm64 Snapdragon. Обычные сборки для компьютера тоже есть, но это изменение относится к Hexagon, а не означает прирост скорости на Mac, ПК или видеокарте. s1 s2

Это пока инженерный сценарий. В документации Hexagon отмечен как экспериментальный вычислительный движок, а подключение Android-устройства и выбор этого вычислителя описаны отдельно. Если вы просто пользуетесь готовым приложением на телефоне, обновлять его ради этой новости не нужно: поддержка в приложении и совместимость вашей конкретной модели должны быть подтверждены отдельно. s3

Что ещё неизвестно

В описании изменения прямо сказано, что поддержка операции GET_ROWS ещё готовится. Поэтому наличие обработки MUL_MAT само по себе не доказывает полноценную работу всякой Q1_0/Q2_0-модели. Авторы не привели в этом изменении сопоставимый замер скорости готовой модели до и после обновления; обещать ускорение или минимальные требования к памяти нельзя. Версия Snapdragon и фактические результаты на вашем устройстве требуют отдельной проверки. s2

Следующий шаг для разработчика — сверить требования к своему Snapdragon и порядок подключения Hexagon в официальном руководстве, затем проверять конкретный GGUF на собственном устройстве. Это документационно проверенное описание релиза, не воспроизведённый Modelium запуск. s3