llama.cpp 0.8.0: поиск и загрузка моделей из Hugging Face в интерфейсе

Что изменилось для человека, который запускает модель локально

Во вкладке Discover Models разработчики предусмотрели поиск GGUF, выбор варианта файла и отображение хода загрузки. Загрузку можно приостановить и возобновить. Это снимает часть ручной работы с поиском файла и командой скачивания, но не означает, что любая найденная модель заработает на вашем компьютере. Поддержка конкретной архитектуры, доступное место и условия лицензии модели проверяются отдельно. Разработчики также добавили поиск по перепискам: диалог поиска открывается из боковой панели, а на компьютере — сочетанием Cmd+K по описанию PR; на телефонах остаётся отдельная страница поиска. s1 s2 s3

Каталог выключен по умолчанию. Чтобы использовать его, в настройках интерфейса надо включить Enable Discover Models; по описанию изменения это одновременно включает обращение к Hugging Face Hub. Поэтому первоначальный поиск и скачивание требуют подключения к внешнему сайту. После скачивания запуск модели может оставаться локальным, но один только локальный сервер не делает этап получения файла автономным. s2

Простой ориентир: ищете в каталоге нужную GGUF-модель, выбираете подходящий вариант файла и ждёте отметки о завершённой загрузке. Затем задаёте ей проверяемый вопрос, например «Перечисли три пункта из этого короткого текста» с собственным текстом. Сверьте перечисление с исходником; отображение модели в каталоге само по себе не доказывает успешный ответ. Это объяснение возможности интерфейса по документации разработчиков, не воспроизведённый Modelium рецепт. s2

Что ещё вошло в версию 0.8.0

В список изменений вошли поддержка семейства Liquid AI LFM3, новых архитектур, свёртывание длинной переписки в интерфейсе и средства работы со звуком в локальном сервере. Последнее мы уже разобрали применительно к предварительной сборке b11946: для живого голосового разговора всё ещё нужен совместимый клиент, это не готовая кнопка для новичка. Новая статья посвящена прежде всего каталогу и стабильному выпуску, а не объявляет аудиомодели новыми весами от llama.cpp. s1 s5

Нужно ли обновляться прямо сейчас

Если вы уже скачали подходящую модель и текущая сборка работает, срочности нет. Если выбираете GGUF через веб-интерфейс, новая вкладка может упростить выбор; сначала проверьте конкретную модель, её лицензию и совместимость. Код llama.cpp под MIT, но права на файлы моделей определяются их собственными условиями. Мы не выводим минимальную RAM или VRAM из размеров файлов и не обещаем ускорения без сравнительного замера. s1 s2 s4

На момент проверки у страницы стабильного тега v0.8.0 есть ссылка на сборку b11960; именно там разработчики разместили архивы под разные платформы. Это предварительно помеченная сборка рядом со стабильным тегом, а не набор отдельных архивов с именем v0.8.0 на странице релиза. Перед загрузкой проверьте платформу и источник. Если вам нужен только разговор со звуком, начните со статьи о предварительной поддержке LFM3; здесь следующий шаг — посмотреть официальный список изменений v0.8.0 и решить, нужна ли вам новая вкладка. s1 s6