Llama для Windows 0.13.0: модели из своих папок без копирования

Llama для Windows 0.13.0: модели из своих папок без копирования

Если модели GGUF уже лежат на отдельном диске, раньше их приходилось добавлять в приложение другим способом. В выпущенной 20 октября версии 0.13.0 Llama для Windows позволяет указать папку с готовыми файлами: они появляются в списке моделей без повторной загрузки или копирования. GGUF — формат файлов моделей, которые запускает движок llama.cpp. s1 s2

Что меняется при работе с локальной моделью?

В настройках Settings → General → Model folders можно добавить папку и сохранить изменение. Программа просматривает также вложенные папки; для найденных моделей использует исходные пути к файлам, а не переносит их в кэш загрузок. После добавления папки посмотрите список моделей и попробуйте открыть нужную: это простая проверка того, что она обнаружена. Сама редакция Modelium эту версию на Windows не запускала; путь и поведение сверены с кодом и описанием разработчиков. s2

Например, можно оставить GGUF-файл на диске с личной коллекцией моделей, добавить его родительскую папку, а затем открыть модель в Llama. Если файл повреждён либо модель не помещается в доступную память, обнаружение папки само по себе не решит проблему запуска. Новая подсказка о совместимости оценивает память до загрузки, но это приблизительный прогноз, а не документированный минимум оперативной или видеопамяти для каждого файла. s2 s3

Какие ещё изменения есть в версии 0.13.0?

Приложение получило поддержку передачи текста и изображений в локальный чат через системное меню Windows и ссылок вида llama:// для открытия чата или уже известной программе модели. Добавлена настройка ускорения генерации с дополнительной черновой моделью, если подходящий вспомогательный файл доступен. Ускорение зависит от сочетания файлов и оборудования; авторский пример не является нашим тестом или обещанием двукратной скорости. s1 s4 s5 s6

Отдельный фикс касается сервера, открытого другим устройствам в сети: в 0.12.0 установка из пакета MSIX могла создавать ключ доступа по пути, который внешний процесс сервера не видел. Разработчики перенесли ключ и папку импортированных моделей в доступное серверу расположение. Если вы используете только чат на этом компьютере, включать сетевой доступ ради этого исправления не нужно. s1 s7 s8

Что проверить перед обновлением?

Это приложение для Windows 11; на странице релиза доступны пакет для x64 и ARM64 и общий установочный пакет. Код приложения имеет лицензию MIT, но права на каждую скачанную или добавленную модель определяются её собственными условиями — MIT приложения их не заменяет. Для первого шага обновите приложение из официального релиза и добавьте одну уже имеющуюся папку GGUF; при ошибке загрузки смотрите сообщение самой программы, не считайте нахождение файла подтверждением работоспособности. s1 s2 s3 s9 s10

Если вы только выбираете модель и ещё ничего не скачивали, предыдущий разбор поиска GGUF в Llama для Windows 0.12.0 объясняет другой путь — поиск и загрузку через Hugging Face. s11