llama.cpp b11709 добавил поддержку Kolibri 1: что меняется для GGUF

Что появилось в программе?

Разработчик добавил распознавание Kolibri 1 и преобразование её исходных весов в GGUF — формат файла, который читает llama.cpp. Изменение затрагивает особенности внимания и выбора «экспертов»: модель использует разные специализированные части сети для каждого фрагмента текста. Запрос на изменение №30673 был принят 17 октября; затем вышла сборка b11709 с этим кодом. s1 s2

Саму Kolibri 1 создала Aleph Alpha и выпустила 3 октября. Она рассчитана прежде всего на немецкий и английский, а не на русский. Официальные веса опубликованы отдельно; их предыдущий способ запуска — плагин к vLLM. Новая поддержка llama.cpp расширяет выбор программы, но не меняет способности и языки модели. s3

Можно ли уже скачать GGUF и запустить?

Сторонний автор Hob-forge ранее разместил GGUF-файлы, в том числе Q4_K_M. Его карточка на момент проверки всё ещё требует патч к старому llama.cpp: она была написана до включения поддержки в основной проект. Поэтому не копируйте устаревшие команды с применением патча к b11709. Веса Hob-forge не являются официальным выпуском Aleph Alpha или llama.cpp. s2 s4

Практический следующий шаг для опытного пользователя — сверить выпуск b11709 и карточку конкретного GGUF, затем проверить загрузку на своём оборудовании. В карточке Q4_K_M указан размер скачиваемого файла 47,5 ГБ; это не минимальное требование к оперативной памяти или видеопамяти. Автор GGUF описывает собственные пробы на компьютере с 128 ГБ RAM, а автор PR — на сервере с четырьмя A800. Ни один из этих опытов не доказывает, что именно такой компьютер необходим, и Modelium не запускал GGUF на b11709. s1 s4

Какие ограничения остаются?

• b11709 — предварительная ежедневная сборка, не стабильный релиз. s2
• Проверки скорости в PR принадлежат его автору и выполнены на четырёх A800; данные другого автора о Q4_K_M относятся к его собственной сборке с патчем. Их нельзя переносить на ваш ПК или объявлять независимым тестом новой сборки. s1 s4
• Наличие поддержки в исходниках llama.cpp не означает, что Ollama или LM Studio уже включили этот код. В их версиях нужно проверять поддержку отдельно. s2 s4
• Лицензия весов Kolibri 1 и сторонней GGUF-конверсии — Apache 2.0; код llama.cpp — MIT. Лицензия не гарантирует пригодность модели для конкретной задачи. s3 s4 s5

Если нужна общая информация о самой модели, начните с карточки Kolibri 1 на Modelium. Для простого первого знакомства с локальным ИИ лучше выбирать меньшую модель: эта новость не является инструкцией для обычного ноутбука.