Импорт GGUF в Ollama: свой локальный файл, Modelfile и проверка

Что именно делает импорт GGUF в Ollama?

GGUF — файл весов, который можно указать в директиве FROM файла Modelfile, а затем создать именованный локальный тег командой ollama create. Здесь речь не о скачивании готового тега из библиотеки Ollama и не о настройке уже установленной модели: у читателя уже есть файл GGUF, который он хочет подключить. Ollama предупреждает, что при таком импорте GGUF не квантуется; если нужен иной квант, подготовьте подходящий файл до создания тега. s1 s2

Формат файла сам по себе не обещает, что ваша версия Ollama поддержит его архитектуру и все функции исходной модели. Уточните издателя, версию, происхождение, условия распространения, оригинальные имена файлов и сопровождающие инструкции для конкретного GGUF. Если это файл от стороннего автора, не приписывайте его формат или качество создателю базовой модели без проверки. Это редакционное правило безопасного выбора, а не результат проверки каких-либо весов Modelium.

Результат, который можно установить самому: ollama create завершился, новый тег появился в списке моделей, а локальный запрос вернул ответ. Это три разных проверки. Ни одна не доказывает качество, правомерность распространения или отсутствие сетевых соединений. s1 s3 s4

Что подготовить до команды create?

Сначала установите и проверьте Ollama: локальный сервер по умолчанию привязан к 127.0.0.1:11434, а GET http://127.0.0.1:11434/api/tags перечисляет доступные локальные модели. Если сервер не отвечает, разберитесь с запуском Ollama до импорта. Не меняйте OLLAMA_HOST на адрес внешнего интерфейса лишь ради этого примера: это отдельное решение о доступе к API. s3 s5

Поместите свой проверенный, одиночный GGUF в отдельный каталог и назовите его model.gguf либо скорректируйте путь в примере ниже на реальное имя. Зафиксируйте название и контрольную сумму скачанного файла, страницу издателя, ревизию и условия использования; ни контрольная сумма, ни лицензия не выводятся из расширения .gguf. До переноса файла в закрытый контур решите, разрешено ли его скачивание, а условия использования проверьте в первичном источнике конкретной модели. Не путайте размер файла с минимальным объёмом RAM или VRAM: размещение зависит также от исполнения и контекста. Для диагностики фактического размещения Ollama описывает ollama ps. s5

Для повторяемого сценария держите Modelfile и model.gguf в одном каталоге. Запишите в текстовый файл с точным именем Modelfile одну строку: FROM ./model.gguf. В официальном справочнике относительный путь к GGUF отсчитывается от расположения Modelfile, поэтому перенос одного файла без второго ломает пример. Абсолютный путь тоже допустим, но он привязан к конкретной машине. Не добавляйте чужой TEMPLATE или SYSTEM, пока не прочли инструкции модели и не получили базовый ответ: полный шаблон промпта может зависеть от неё. s2

Как создать тег и убедиться, что импорт состоялся?

Откройте терминал в каталоге с обоими файлами и выполните ollama create my-gguf -f ./Modelfile. Флаг -f явно указывает нужный Modelfile; my-gguf — локальное имя, выберите другое, если оно уже занято. Документация Ollama показывает создание модели из Modelfile и проверку через ollama run; API создания отдельно описывает поток статусов, завершающийся успехом. Если получили ошибку, не интерпретируйте сам запуск команды как успешный импорт. s1 s2 s7

После успешного создания проверьте ollama list либо GET http://127.0.0.1:11434/api/tags: новый my-gguf должен присутствовать с digest. API списка также возвращает сведения о формате, семействе и уровне квантизации, если они доступны для тега. Запишите digest и время проверки; это идентификатор наблюдаемого тега, но не независимая аттестация происхождения весов. Посмотрите ollama show --modelfile my-gguf, чтобы увидеть собранную конфигурацию. Генерируемый Ollama FROM может указывать на внутренний blob-путь — не переносите его механически в исходный Modelfile. s2 s3

Теперь выполните ollama run my-gguf и задайте простой вопрос с известным вам ответом, затем вопрос по своей будущей задаче. Сохраните вопрос, фактический ответ, имя/digest тега, версию Ollama и используемые настройки. Для программного вызова документация показывает локальный POST /api/generate с выбранным полем model; stream: false даёт один JSON-ответ вместо потока. Сравнивайте ответ с исходными данными вручную: наличие текста не доказывает корректность, поддержку нужного языка или отсутствие галлюцинаций. s1 s3 s4

Порог успешной самостоятельной проверки: ваш сервер доступен, команда создания закончилась без ошибки, тег найден по имени и digest, а ответ на тестовый вход сверён с эталоном. Если сервер упал при генерации или ответ неверен, импорт как процедура и пригодность модели для задачи надо оценивать отдельно. Modelium не проводил этот прогон.

Что делать со split GGUF и несовместимым файлом?

Для GGUF, состоящего из нескольких частей, не выдавайте первый shard за полную модель. По официальной инструкции сохраните исходные имена всех частей и укажите wildcard, совпадающий со всеми shard-файлами, например FROM ./model-*.gguf в Modelfile. Перед запуском убедитесь, что каталог содержит весь комплект издателя, а шаблон не захватывает посторонние GGUF. Справочник также допускает перечислить части отдельными директивами FROM; не переименовывайте фрагменты для удобства без указания издателя. s1 s2

Если ollama create не находит файл, сначала сравните фактический путь, регистр имени и местоположение Modelfile. Если ошибка связана с чтением или поддержкой файла, сверяйте свою версию Ollama, оригинальные инструкции и полный набор shard-файлов; не обещайте, что любое .gguf заработает. Если тег есть, но запускается на CPU, ollama ps помогает увидеть размещение — это другой этап диагностики, не свидетельство ошибки при импорте. s1 s2 s5

Файл GGUF не равен готовому стеку для всех модальностей и шаблонов. Если ответы ломаются именно на диалоге или определённом типе входа, изучите Modelfile и требования издателя, затем повторите одинаковые тесты. Не копируйте универсальный TEMPLATE из примера чужого семейства: справочник предупреждает о модельно-зависимом синтаксисе. s2

Как проверить офлайн-режим и удалить пробный тег?

FROM ./model.gguf указывает на локальный файл и не вызывает ollama pull в приведённых шагах. Но локальный путь и ответ API не являются сетевым аудитом. Ollama описывает отдельный local-only режим: disable_ollama_cloud: true в конфигурации либо OLLAMA_NO_CLOUD=1 с перезапуском сервера; при отключении облака журнал должен отражать Ollama cloud disabled: true. Проверьте настройку своей установки и затем пройдите сетевой тест закрытого контура, если отсутствие внешних обращений — требование проекта. s1 s5

Не публикуйте созданный тег командой ollama push, пока не проверили право на распространение исходных весов и отсутствие нежелательных инструкций в Modelfile: официальный импортный гайд рассматривает публикацию как отдельный шаг после локального создания. s1 Когда пробный тег больше не нужен, API предоставляет DELETE /api/delete с полем model, в котором указывают точно проверенное локальное имя my-gguf. Перед удалением сверьте выбранный тег — это локальная операция, не отзыв исходного файла у издателя. s6

Следующий шаг: после локального ответа и сохранённого digest выполните проверку офлайн-контура. Для выбора кванта до импорта откройте разбор GGUF, а изменение поведения уже созданной модели отделяйте от импорта в гайде по Modelfile. s1 s2 s5