llama.cpp b11714: поиск и загрузка GGUF-моделей в интерфейсе

Что изменилось для пользователя

В менеджере моделей появился поиск по каталогу Hugging Face, список вариантов модели для загрузки и панель с её описанием. Интерфейс показывает ход загрузки; неполную загрузку можно остановить и продолжить. Это облегчает выбор файла, но не означает, что любая найденная модель подходит вашему компьютеру или что результаты модели проверены редакцией. s1 s2

Поиск не заменяет чтение карточки модели: условия использования и возможность коммерческого применения зависят от конкретной модели, а не от лицензии llama.cpp. Новых весов этот выпуск llama.cpp не публикует. Код самой программы распространяется под MIT. s1 s5

Как попробовать новый экран

1. Возьмите b11714 из официального выпуска для своей ОС. Это предварительная сборка; в релизе есть готовые пакеты для Windows, macOS и Linux. Редакция не проводила установку или запуск модели на компьютере — ниже описан путь по документации и исходному коду. s1
2. Запустите llama-server без указания файла модели: так включается режим управления несколькими моделями (router mode). Откройте локальный веб-интерфейс сервера. Если сервер запущен с одной заданной моделью, экран Discover Models для этого режима не предназначен. s4 s3
3. В настройках интерфейса, в разделе General, включите Enable Discover Models. Переключатель по умолчанию выключен и при включении также разрешает обращение интерфейса к Hugging Face Hub. После этого в боковой панели появляется действие Discover Models: можно открыть карточку модели и выбрать вариант GGUF для загрузки. Ожидаемый результат — строка прогресса, а после скачивания модель в менеджере. s3 s2

Для примера можно ввести в поиск название знакомой GGUF-модели и сначала открыть её карточку: убедитесь, что это нужный автор и что лицензия подходит вашей задаче, а затем выберите вариант загрузки. Это не проверенный Modelium запуск конкретной модели; мы не обещаем скорость или достаточность памяти для произвольного варианта. s2

Что важно учесть

Для самого поиска и загрузки нужен доступ к Hugging Face; после получения файлов возможность локальной работы зависит от выбранной модели и вашего запуска. Не путайте показанный размер скачивания или подсказку интерфейса с измеренным минимальным объёмом оперативной или видеопамяти. Специальные вспомогательные файлы некоторых моделей выбирайте только при понимании, для чего они нужны; простой первый шаг — основная модель. s2 s3

Если кнопки Discover Models нет, проверьте номер сборки, режим запуска сервера и переключатель в General. Если загрузка не завершилась, интерфейс b11714 предусматривает продолжение неполного скачивания, но успешная работа зависит также от доступности Hugging Face и места на диске. Саму функцию редакция по документации сверила, но на устройстве не воспроизводила. s1 s3

Следующий шаг: разобраться, как устроен режим нескольких моделей в llama.cpp.