K2 Horizon вошёл в основной llama.cpp: dense и MoVA GGUF без отдельного форка

Что изменилось для локального запуска

До интеграции авторы K2 предлагали отдельную ветку llama.cpp. В основном дереве теперь есть конвертер HF→GGUF, загрузчик параметров, вычислительный граф K2 и MoVA, собственная обработка токенизатора и chat template с reasoning и вызовами инструментов. Авторы PR описывают реализацию на существующих операциях GGML, без новых специальных ядер. Это снимает необходимость брать отдельный форк для поддержки архитектуры в новых сборках, но само по себе не доказывает одинаковое поведение на каждом backend. s1 s4

Официальный репозиторий IFM для MoVA содержит один BF16 GGUF и квантизации Q4_K_M, Q5_0, Q5_K_M, Q6_K, Q8_0. Полный перечень файлов подтверждён манифестом HF закреплённой ревизии b318d134; карточка всё ещё говорит, что upstream PR «в процессе», — это устаревшая инструкция по сравнению с уже объединённым PR и тегом b11454. Проверяйте версию своего бинарника, а не только README весов. s3 s5

Как принимать решение о развёртывании

• Если вы зависели от форка IFM ради загрузки K2 GGUF, проверьте сборку llama.cpp не старше b11454 и выбранный официальный GGUF. Не приписывайте этому шагу самостоятельный тест Modelium: здесь сверены исходники, релиз и манифест, а не выполнен локальный прогон. s1 s2 s3
• Для первого испытания проверьте отдельно загрузку модели, обычный ответ, длинный контекст и tool calls именно на своей машине и backend. Указанные авторами 524 288 токенов контекста — характеристика модели, а не подтверждение, что такая длина поместится в вашу память или будет эффективна на вашем устройстве. s3
• Не планируйте tensor parallelism как готовую функцию этого релиза. В последнем коммите PR он явно отключён после обсуждения ошибки при разделении CPU-буфера и Meta backend. Заявления раннего описания PR о multi-GPU не следует переносить на финальный b11454 без отдельной проверки последующих исправлений. s1 s6
• Размер GGUF-файла не равен минимальной потребности в RAM/VRAM: кроме весов требуются память для контекста и промежуточных вычислений. Начинайте с конфигурации, которую сможете измерить, а не с универсального «минимума» из размера файла.

Код llama.cpp имеет лицензию MIT. Метаданные официального GGUF-репозитория IFM помечены Apache-2.0 и указывают исходную модель; отдельного файла LICENSE в данном GGUF-дереве нет. Открытые веса и разрешение на конкретное коммерческое применение — разные проверки: для своего проекта изучите действующие условия источника и цепочку происхождения, не подменяя их меткой карточки. Сравнения качества на карточке — заявления авторов, Modelium их не воспроизводил. s3 s5 s7

Вывод. Главное изменение b11454 — K2 Horizon теперь входит в upstream llama.cpp, а не требует отдельной ветки для самой архитектуры. Это предварительная daily build; для ответственного внедрения нужны собственные функциональные проверки и осторожность с отключённым tensor parallelism. s1 s2