# Llama локально: первый запуск через Ollama, LM Studio или llama.cpp

Источник: https://modelium.tech/zhurnal/llama-lokalno/

Для первого текстового запуска выберите конкретный тег Llama 3.1 8B Instruct в Ollama, например `llama3.1:8b-instruct-q4_K_M`, и проверьте ответ на своей задаче и размещение через `ollama ps`. LM Studio подходит для графического выбора совместимого файла, llama.cpp — для явного контроля GGUF и параметров. Llama 4 Scout с изображениями — иной, намного более крупный сценарий: не оценивайте его по 17B активных параметров.

**Документация и каталог проверены 1 октября 2026 года.** Ниже описаны команды и ожидаемые проверки по документации, а не собственный тест Modelium. Выбор точных весов, условий использования и фактической памяти остаётся за вами. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

## Какую Llama выбрать для первого локального запуска?

Если нужен обычный **текстовый диалог**, начните с Llama 3.1 **8B Instruct**: официальная карточка Meta описывает instruct-модель как текстовую и отдельно отличает её от 70B и 405B. В каталоге Ollama есть конкретный тег `llama3.1:8b-instruct-q4_K_M`. Укажите его целиком, чтобы не смешать размер, instruct/text и квант с неявным `latest`. Ollama-тег — отдельный распространяемый артефакт; его имя не доказывает побайтовое совпадение с официальным HF-checkpoint закреплённой ревизии. [s1](#src-s1) [s3](#src-s3)

Для изображения на входе не превращайте текстовый тест в обещание мультимодальности: в каталоге Ollama отдельно фигурируют `llama4:scout` и `llama4:maverick`, а [сравнение конкретных Llama 3 и 4](/zhurnal/llama-3-i-4/) разбирает модальности и общие параметры моделей. Scout и Maverick требуют отдельной проверки формата, hardware и режима изображения. Число активных параметров MoE не эквивалентно объёму всех весов или требованию к VRAM. Для первого запуска на неизвестном устройстве оставайтесь на конкретной текстовой 8B, а не скачивайте Llama 4 по одному только названию. [s8](#src-s8) [s1](#src-s1)

Если ваша основная задача — **русский деловой текст**, заготовьте короткие обезличенные примеры с известными правильными ответами. В официальной карточке Llama 3.1 русский не перечислен среди поддерживаемых языков: работа на русском возможна, но заявлять гарантированное качество без собственной оценки нельзя. Проверяйте фактические ошибки на своих данных; выбор модели — решение по задаче, а не по числу версии. [s1](#src-s1)

## Что приготовить до скачивания?

Уточните ОС, свободное место, доступную RAM/VRAM и тип задачи. Размер GGUF или надпись «8B» не дают точного минимума памяти: на него влияют квант, контекст, runtime и размещение. Если устройство ограничено, проверьте реальное размещение, уменьшите настроенный контекст либо вернитесь к оценке конфигурации в [гайде по видеокарте](/zhurnal/videokarta-dlya-llm/). Никаких обещаний скорости, памяти и качества для произвольного ноутбука здесь нет. [s4](#src-s4) [s9](#src-s9)

Официальный репозиторий Meta относится к **Llama 3.1 Community License**: право скачать файл, применимость условий к конкретной компании и соответствие корпоративным требованиям — разные вопросы. Проверьте текст лицензии и условия доступа к выбранному источнику весов; полученный из Ollama-тега файл не превращается от этого в Apache-2.0. Для производственного применения условия разбирайте со своей юридической командой. [s2](#src-s2) [s1](#src-s1) [s3](#src-s3)

## Как запустить Llama 3.1 через Ollama и проверить результат?

- Установите Ollama по [инструкции для вашей ОС](/zapusk/ollama/). До скачивания выберите именно текстовый `llama3.1:8b-instruct-q4_K_M` из официальной библиотеки тегов Ollama, а не `llama4` или вариант `70b`. Первый запуск требует сети для загрузки артефакта. Команда **по каталогу**, не след собственного запуска Modelium: `ollama run llama3.1:8b-instruct-q4_K_M`. [s3](#src-s3)

- В открывшемся диалоге дайте обезличенное задание с заранее записанным эталоном — например, извлечь три явно указанных поля из придуманной короткой записи. Сохраните полный тег, вход, ожидаемые поля и ответ. Если появились несуществующие поля, это обнаруженная ошибка на вашем примере, а не статистическая оценка модели.

- Пока модель загружена, в другом терминале выполните `ollama ps`. Поле `PROCESSOR` показывает, выполняется ли модель на CPU, GPU или смешанно. Сохраните этот вывод вместе с ответом. Пустой список после выгрузки не означает, что модель не была скачана или что её ответ неправильный. [s4](#src-s4)

- Если запуск не состоялся, отдельно проверьте точность тега, свободное место, доступность сети для первой загрузки и фактическую память. Для задач с приватными данными не считайте само слово «локально» доказательством изоляции: [проверьте сетевой контур](/zhurnal/proverka-offline-kontura-ii/) и политику хранения приложения прежде, чем подавать реальные документы. [s3](#src-s3) [s4](#src-s4)

Это **проверка запуска**, а не бенчмарк. Ответ на один пример не доказывает пригодность для всех документов, а статус GPU не подтверждает отсутствие сетевых обращений.

## Когда вместо Ollama выбрать LM Studio или llama.cpp?

**LM Studio** — путь через графическое приложение. Обычный LM Studio описывает поиск и скачивание совместимых моделей через Discover: документация допускает поиск по `user/model` и полному URL Hugging Face. Прежде чем загружать модель, сверяйте издателя, instruct-вариант, квант, тип файла и лицензию. Не подставляйте произвольный чужой GGUF как официальный checkpoint Meta. После загрузки в Chat задайте тот же короткий вопрос и запишите точное имя файла и ответ. Документация обычного LM Studio не является описанием отдельного приложения Bionic и его переключателя Local/Remote/Cloud. [s6](#src-s6) [s7](#src-s7) [s1](#src-s1)

**llama.cpp** полезен, если у вас уже есть проверенный совместимый **GGUF** и нужна явная конфигурация. В CLI документированы путь `-m`, контекст `-c` и число GPU-слоёв `-ngl`; для CPU-проверки синтаксис выглядит так: `./llama-cli -m /path/to/your-llama-instruct.gguf -c 4096 -ngl 0`. Путь — заполнитель: команда не скачивает файл и не подтверждает происхождение весов. Значение 4096 — выбранная длина пробного контекста, не предел возможностей Llama 3.1; `-ngl 0` намеренно не обещает GPU-ускорение. Перед выполнением возьмите проверенный GGUF, а установку и особенности backend смотрите в [гайде llama.cpp](/zhurnal/llama-cpp/). [s9](#src-s9) [s1](#src-s1)

Не сравнивайте скорость этих трёх путей по разным квантам или устройствам. Для честного собственного сравнения используйте один и тот же тестовый набор и запишите checkpoint, конкретный файл или тег, квант, runtime, ОС, железо и контекст. Modelium не проводил такой прогон и не называет победителя.

**Основной следующий шаг:** [откройте инструкцию Ollama](/zapusk/ollama/), запустите точный `llama3.1:8b-instruct-q4_K_M`, затем сохраните ответ на обезличенный контрольный вопрос и `ollama ps`. Только после проверяемого результата решайте, нужна ли смена модели или runtime. [s3](#src-s3) [s4](#src-s4)

## Источники

1. [Meta — Llama 3.1 8B Instruct, закреплённая карточка](https://huggingface.co/meta-llama/Llama-3.1-8B-Instruct/blob/0e9e39f249a16976918f6564b8830bc894c89659/README.md) — получено 2026-10-01
2. [Meta — Llama 3.1 Community License, закреплённый текст](https://huggingface.co/meta-llama/Llama-3.1-8B-Instruct/blob/0e9e39f249a16976918f6564b8830bc894c89659/LICENSE) — получено 2026-10-01
3. [Ollama — теги Llama 3.1](https://ollama.com/library/llama3.1/tags) — получено 2026-10-01
4. [Ollama — FAQ: параметры и размещение модели](https://docs.ollama.com/faq) — получено 2026-10-01
5. [LM Studio — использование обычного desktop app](https://lmstudio.ai/docs/app/basics) — получено 2026-10-01
6. [LM Studio — поиск и загрузка моделей](https://lmstudio.ai/docs/app/basics/download-model) — получено 2026-10-01
7. [Ollama — отдельные теги Llama 4](https://ollama.com/library/llama4/tags) — получено 2026-10-01
8. [llama.cpp — закреплённое описание параметров CLI](https://github.com/ggml-org/llama.cpp/blob/4e416ee7308dd6b581796f1a6241276cd5982691/tools/cli/README.md) — получено 2026-10-01