Llama локально: первый запуск через Ollama, LM Studio или llama.cpp

Какую Llama выбрать для первого локального запуска?

Если нужен обычный текстовый диалог, начните с Llama 3.1 8B Instruct: официальная карточка Meta описывает instruct-модель как текстовую и отдельно отличает её от 70B и 405B. В каталоге Ollama есть конкретный тег llama3.1:8b-instruct-q4_K_M. Укажите его целиком, чтобы не смешать размер, instruct/text и квант с неявным latest. Ollama-тег — отдельный распространяемый артефакт; его имя не доказывает побайтовое совпадение с официальным HF-checkpoint закреплённой ревизии. s1 s3

Для изображения на входе не превращайте текстовый тест в обещание мультимодальности: в каталоге Ollama отдельно фигурируют llama4:scout и llama4:maverick, а сравнение конкретных Llama 3 и 4 разбирает модальности и общие параметры моделей. Scout и Maverick требуют отдельной проверки формата, hardware и режима изображения. Число активных параметров MoE не эквивалентно объёму всех весов или требованию к VRAM. Для первого запуска на неизвестном устройстве оставайтесь на конкретной текстовой 8B, а не скачивайте Llama 4 по одному только названию. s8 s1

Если ваша основная задача — русский деловой текст, заготовьте короткие обезличенные примеры с известными правильными ответами. В официальной карточке Llama 3.1 русский не перечислен среди поддерживаемых языков: работа на русском возможна, но заявлять гарантированное качество без собственной оценки нельзя. Проверяйте фактические ошибки на своих данных; выбор модели — решение по задаче, а не по числу версии. s1

Что приготовить до скачивания?

Уточните ОС, свободное место, доступную RAM/VRAM и тип задачи. Размер GGUF или надпись «8B» не дают точного минимума памяти: на него влияют квант, контекст, runtime и размещение. Если устройство ограничено, проверьте реальное размещение, уменьшите настроенный контекст либо вернитесь к оценке конфигурации в гайде по видеокарте. Никаких обещаний скорости, памяти и качества для произвольного ноутбука здесь нет. s4 s9

Официальный репозиторий Meta относится к Llama 3.1 Community License: право скачать файл, применимость условий к конкретной компании и соответствие корпоративным требованиям — разные вопросы. Проверьте текст лицензии и условия доступа к выбранному источнику весов; полученный из Ollama-тега файл не превращается от этого в Apache-2.0. Для производственного применения условия разбирайте со своей юридической командой. s2 s1 s3

Как запустить Llama 3.1 через Ollama и проверить результат?

1. Установите Ollama по инструкции для вашей ОС. До скачивания выберите именно текстовый llama3.1:8b-instruct-q4_K_M из официальной библиотеки тегов Ollama, а не llama4 или вариант 70b. Первый запуск требует сети для загрузки артефакта. Команда по каталогу, не след собственного запуска Modelium: ollama run llama3.1:8b-instruct-q4_K_M. s3
2. В открывшемся диалоге дайте обезличенное задание с заранее записанным эталоном — например, извлечь три явно указанных поля из придуманной короткой записи. Сохраните полный тег, вход, ожидаемые поля и ответ. Если появились несуществующие поля, это обнаруженная ошибка на вашем примере, а не статистическая оценка модели.
3. Пока модель загружена, в другом терминале выполните ollama ps. Поле PROCESSOR показывает, выполняется ли модель на CPU, GPU или смешанно. Сохраните этот вывод вместе с ответом. Пустой список после выгрузки не означает, что модель не была скачана или что её ответ неправильный. s4
4. Если запуск не состоялся, отдельно проверьте точность тега, свободное место, доступность сети для первой загрузки и фактическую память. Для задач с приватными данными не считайте само слово «локально» доказательством изоляции: проверьте сетевой контур и политику хранения приложения прежде, чем подавать реальные документы. s3 s4

Это проверка запуска, а не бенчмарк. Ответ на один пример не доказывает пригодность для всех документов, а статус GPU не подтверждает отсутствие сетевых обращений.

Когда вместо Ollama выбрать LM Studio или llama.cpp?

LM Studio — путь через графическое приложение. Обычный LM Studio описывает поиск и скачивание совместимых моделей через Discover: документация допускает поиск по user/model и полному URL Hugging Face. Прежде чем загружать модель, сверяйте издателя, instruct-вариант, квант, тип файла и лицензию. Не подставляйте произвольный чужой GGUF как официальный checkpoint Meta. После загрузки в Chat задайте тот же короткий вопрос и запишите точное имя файла и ответ. Документация обычного LM Studio не является описанием отдельного приложения Bionic и его переключателя Local/Remote/Cloud. s6 s7 s1

llama.cpp полезен, если у вас уже есть проверенный совместимый GGUF и нужна явная конфигурация. В CLI документированы путь -m, контекст -c и число GPU-слоёв -ngl; для CPU-проверки синтаксис выглядит так: ./llama-cli -m /path/to/your-llama-instruct.gguf -c 4096 -ngl 0. Путь — заполнитель: команда не скачивает файл и не подтверждает происхождение весов. Значение 4096 — выбранная длина пробного контекста, не предел возможностей Llama 3.1; -ngl 0 намеренно не обещает GPU-ускорение. Перед выполнением возьмите проверенный GGUF, а установку и особенности backend смотрите в гайде llama.cpp. s9 s1

Не сравнивайте скорость этих трёх путей по разным квантам или устройствам. Для честного собственного сравнения используйте один и тот же тестовый набор и запишите checkpoint, конкретный файл или тег, квант, runtime, ОС, железо и контекст. Modelium не проводил такой прогон и не называет победителя.

Основной следующий шаг: откройте инструкцию Ollama, запустите точный llama3.1:8b-instruct-q4_K_M, затем сохраните ответ на обезличенный контрольный вопрос и ollama ps. Только после проверяемого результата решайте, нужна ли смена модели или runtime. s3 s4