# Импорт GGUF в Ollama: свой локальный файл, Modelfile и проверка

Источник: https://modelium.tech/zhurnal/ollama-import-gguf/

Чтобы импортировать уже скачанный GGUF в Ollama, положите файл рядом с Modelfile и укажите `FROM ./model.gguf`, затем выполните `ollama create my-gguf -f ./Modelfile`. Проверьте новый тег и ответ локального сервера; создание тега не доказывает качество модели или отсутствие внешних соединений. Ollama не квантует GGUF при таком импорте: совместимый файл и условия его использования нужно проверить заранее.

**Проверено по документации 7 октября 2026 года.** Modelium не запускал импорт и модель: ниже приведён воспроизводимый порядок для вашего собственного файла, а не результат собственного теста. Условия использования и возможности конкретного GGUF нужно сверить с его издателем; этот гайд не выдаёт лицензию на чужие веса. [s1](#src-s1) [s2](#src-s2)

## Что именно делает импорт GGUF в Ollama?

GGUF — файл весов, который можно указать в директиве `FROM` файла Modelfile, а затем создать именованный локальный тег командой `ollama create`. Здесь речь не о скачивании готового тега из библиотеки Ollama и не о настройке уже установленной модели: у читателя уже есть файл GGUF, который он хочет подключить. Ollama предупреждает, что **при таком импорте GGUF не квантуется**; если нужен иной квант, подготовьте подходящий файл до создания тега. [s1](#src-s1) [s2](#src-s2)

Формат файла сам по себе не обещает, что ваша версия Ollama поддержит его архитектуру и все функции исходной модели. Уточните издателя, версию, происхождение, условия распространения, оригинальные имена файлов и сопровождающие инструкции для конкретного GGUF. Если это файл от стороннего автора, не приписывайте его формат или качество создателю базовой модели без проверки. Это редакционное правило безопасного выбора, а не результат проверки каких-либо весов Modelium.

**Результат, который можно установить самому:** `ollama create` завершился, новый тег появился в списке моделей, а локальный запрос вернул ответ. Это три разных проверки. Ни одна не доказывает качество, правомерность распространения или отсутствие сетевых соединений. [s1](#src-s1) [s3](#src-s3) [s4](#src-s4)

## Что подготовить до команды create?

Сначала [установите и проверьте Ollama](/zapusk/ollama/): локальный сервер по умолчанию привязан к `127.0.0.1:11434`, а `GET http://127.0.0.1:11434/api/tags` перечисляет доступные локальные модели. Если сервер не отвечает, разберитесь с запуском Ollama до импорта. Не меняйте `OLLAMA_HOST` на адрес внешнего интерфейса лишь ради этого примера: это отдельное решение о доступе к API. [s3](#src-s3) [s5](#src-s5)

Поместите свой проверенный, **одиночный** GGUF в отдельный каталог и назовите его `model.gguf` либо скорректируйте путь в примере ниже на реальное имя. Зафиксируйте название и контрольную сумму скачанного файла, страницу издателя, ревизию и условия использования; ни контрольная сумма, ни лицензия не выводятся из расширения `.gguf`. До переноса файла в закрытый контур решите, разрешено ли его скачивание, а условия использования проверьте в первичном источнике конкретной модели. Не путайте размер файла с минимальным объёмом RAM или VRAM: размещение зависит также от исполнения и контекста. Для диагностики фактического размещения Ollama описывает `ollama ps`. [s5](#src-s5)

Для повторяемого сценария держите `Modelfile` и `model.gguf` в одном каталоге. Запишите в текстовый файл с точным именем `Modelfile` одну строку: `FROM ./model.gguf`. В официальном справочнике относительный путь к GGUF отсчитывается от **расположения Modelfile**, поэтому перенос одного файла без второго ломает пример. Абсолютный путь тоже допустим, но он привязан к конкретной машине. Не добавляйте чужой `TEMPLATE` или `SYSTEM`, пока не прочли инструкции модели и не получили базовый ответ: полный шаблон промпта может зависеть от неё. [s2](#src-s2)

## Как создать тег и убедиться, что импорт состоялся?

Откройте терминал в каталоге с обоими файлами и выполните `ollama create my-gguf -f ./Modelfile`. Флаг `-f` явно указывает нужный Modelfile; `my-gguf` — локальное имя, выберите другое, если оно уже занято. Документация Ollama показывает создание модели из Modelfile и проверку через `ollama run`; API создания отдельно описывает поток статусов, завершающийся успехом. Если получили ошибку, не интерпретируйте сам запуск команды как успешный импорт. [s1](#src-s1) [s2](#src-s2) [s7](#src-s7)

После успешного создания проверьте `ollama list` либо `GET http://127.0.0.1:11434/api/tags`: новый `my-gguf` должен присутствовать с digest. API списка также возвращает сведения о формате, семействе и уровне квантизации, если они доступны для тега. Запишите digest и время проверки; это идентификатор наблюдаемого тега, но не независимая аттестация происхождения весов. Посмотрите `ollama show --modelfile my-gguf`, чтобы увидеть собранную конфигурацию. Генерируемый Ollama `FROM` может указывать на внутренний blob-путь — не переносите его механически в исходный Modelfile. [s2](#src-s2) [s3](#src-s3)

Теперь выполните `ollama run my-gguf` и задайте простой вопрос с известным вам ответом, затем вопрос по своей будущей задаче. Сохраните вопрос, фактический ответ, имя/digest тега, версию Ollama и используемые настройки. Для программного вызова документация показывает локальный `POST /api/generate` с выбранным полем `model`; `stream: false` даёт один JSON-ответ вместо потока. Сравнивайте ответ с исходными данными вручную: наличие текста не доказывает корректность, поддержку нужного языка или отсутствие галлюцинаций. [s1](#src-s1) [s3](#src-s3) [s4](#src-s4)

**Порог успешной самостоятельной проверки:** ваш сервер доступен, команда создания закончилась без ошибки, тег найден по имени и digest, а ответ на тестовый вход сверён с эталоном. Если сервер упал при генерации или ответ неверен, импорт как процедура и пригодность модели для задачи надо оценивать отдельно. Modelium не проводил этот прогон.

## Что делать со split GGUF и несовместимым файлом?

Для GGUF, состоящего из нескольких частей, не выдавайте первый shard за полную модель. По официальной инструкции сохраните **исходные имена всех частей** и укажите wildcard, совпадающий со всеми shard-файлами, например `FROM ./model-*.gguf` в Modelfile. Перед запуском убедитесь, что каталог содержит весь комплект издателя, а шаблон не захватывает посторонние GGUF. Справочник также допускает перечислить части отдельными директивами `FROM`; не переименовывайте фрагменты для удобства без указания издателя. [s1](#src-s1) [s2](#src-s2)

Если `ollama create` не находит файл, сначала сравните фактический путь, регистр имени и местоположение Modelfile. Если ошибка связана с чтением или поддержкой файла, сверяйте свою версию Ollama, оригинальные инструкции и полный набор shard-файлов; не обещайте, что любое `.gguf` заработает. Если тег есть, но запускается на CPU, `ollama ps` помогает увидеть размещение — это другой этап диагностики, не свидетельство ошибки при импорте. [s1](#src-s1) [s2](#src-s2) [s5](#src-s5)

Файл GGUF не равен готовому стеку для всех модальностей и шаблонов. Если ответы ломаются именно на диалоге или определённом типе входа, изучите Modelfile и требования издателя, затем повторите одинаковые тесты. Не копируйте универсальный `TEMPLATE` из примера чужого семейства: справочник предупреждает о модельно-зависимом синтаксисе. [s2](#src-s2)

## Как проверить офлайн-режим и удалить пробный тег?

`FROM ./model.gguf` указывает на локальный файл и не вызывает `ollama pull` в приведённых шагах. Но локальный путь и ответ API **не являются сетевым аудитом**. Ollama описывает отдельный local-only режим: `disable_ollama_cloud: true` в конфигурации либо `OLLAMA_NO_CLOUD=1` с перезапуском сервера; при отключении облака журнал должен отражать `Ollama cloud disabled: true`. Проверьте настройку своей установки и затем пройдите [сетевой тест закрытого контура](/zhurnal/proverka-offline-kontura-ii/), если отсутствие внешних обращений — требование проекта. [s1](#src-s1) [s5](#src-s5)

Не публикуйте созданный тег командой `ollama push`, пока не проверили право на распространение исходных весов и отсутствие нежелательных инструкций в Modelfile: официальный импортный гайд рассматривает публикацию как **отдельный** шаг после локального создания. [s1](#src-s1) Когда пробный тег больше не нужен, API предоставляет `DELETE /api/delete` с полем `model`, в котором указывают точно проверенное локальное имя `my-gguf`. Перед удалением сверьте выбранный тег — это локальная операция, не отзыв исходного файла у издателя. [s6](#src-s6)

**Следующий шаг:** после локального ответа и сохранённого digest выполните [проверку офлайн-контура](/zhurnal/proverka-offline-kontura-ii/). Для выбора кванта до импорта откройте [разбор GGUF](/zhurnal/gguf-i-kvantovanie/), а изменение поведения уже созданной модели отделяйте от импорта в [гайде по Modelfile](/zhurnal/ollama-modelfile/). [s1](#src-s1) [s2](#src-s2) [s5](#src-s5)

## Источники

1. [Ollama: Importing a Model](https://docs.ollama.com/import) — получено 2026-10-07
2. [Ollama: Modelfile Reference](https://docs.ollama.com/modelfile) — получено 2026-10-07
3. [Ollama API: List models](https://docs.ollama.com/api/tags) — получено 2026-10-07
4. [Ollama API: Generate a response](https://docs.ollama.com/api/generate) — получено 2026-10-07
5. [Ollama FAQ: local-only, GPU and network](https://docs.ollama.com/faq) — получено 2026-10-07
6. [Ollama API: Delete a model](https://docs.ollama.com/api/delete) — получено 2026-10-07
7. [Ollama API: Create a model](https://docs.ollama.com/api/create) — получено 2026-10-07