# Qwen локально: выбрать версию и запустить через Ollama, LM Studio или llama.cpp

Источник: https://modelium.tech/zhurnal/qwen-lokalno/

Для первого локального запуска Qwen выберите конкретные веса, а не просто слово Qwen: например, официальный Qwen3-8B-GGUF и его квант Q4_K_M. В Ollama используйте точный тег `qwen3:8b-q4_K_M`, затем проверьте ответ и размещение через `ollama ps`. Qwen3.8-27B — другая, более крупная модель: её вариант нужно оценивать отдельно по доступной памяти и задаче, не по числу параметров или размеру файла.

**Проверено по документации 23 сентября 2026 года.** Примеры относятся к локальному запуску скачанных весов, не к облачному Qwen Chat. Modelium не запускал эти модели и не измерял качество, скорость или память. Теги и параметры могли измениться после даты проверки.

## Какой Qwen скачивать для первого локального запуска?

Сначала выберите задачу и точный вариант весов. Для первого текстового диалога с проверяемым ответом используйте официальный **Qwen3-8B-GGUF**: в репозитории автора есть файл `Qwen3-8B-Q4_K_M.gguf` и альтернативные кванты, включая Q8_0 [s1](#src-s1). Для локальной пробы это конкретнее, чем абстрактное «скачать Qwen». Qwen3.8-27B — иной checkpoint, чья авторская карточка описывает уже другой набор весов в Transformers и указывает собственные функции; не переименовывайте Qwen3-8B в Qwen3.8 ради свежести [s1](#src-s1) [s2](#src-s2).

Если ваш запрос о **Qwen3.8**, сначала загляните в [паспорт этой версии](/modeli/qwen/qwen3-8/), затем отдельно оцените доступную память и совместимость runtime. Ollama перечисляет, в частности, `qwen3.8:27b-q4_K_M`, а для компактного стартового варианта Qwen3 — `qwen3:8b-q4_K_M` [s3](#src-s3). Названия похожи, но это не один и тот же файл или сопоставимый тест качества. Размер файла на диске сам по себе не определяет минимальную RAM/VRAM: контекст, KV-кэш, runtime и размещение на CPU/GPU также влияют на расход; перед рабочим использованием запустите точный вариант на своём устройстве [s4](#src-s4) [s6](#src-s6).

Карточки обоих официальных репозиториев Qwen указывают `apache-2.0` [s1](#src-s1) [s2](#src-s2). Это сведения о **конкретных** репозиториях, не обещание такой же лицензии для любой модели, производного кванта или сторонней сборки с названием Qwen. Сверяйте файл лицензии именно скачиваемого репозитория до коммерческого использования.

## Как быстро запустить Qwen через Ollama?

**Предусловие:** установлена Ollama и есть доступ к загрузке модели. Откройте [инструкцию по Ollama](/zapusk/ollama/) для своей ОС; для первого шага используйте *точный* тег из официальной библиотеки, а не `latest`, который может означать другой вариант [s3](#src-s3):

ollama run qwen3:8b-q4_K_M

Первый вызов скачивает веса; потребуется свободное место на диске и сеть. После появления приглашения чата задайте два заранее подготовленных вопроса: один короткий с известным правильным ответом, другой типичный для вашей работы. Запишите точный тег, длину входа, ожидаемый и фактический ответ. Это ваш локальный пробный запуск, не тест Modelium.

Пока модель работает, в **другом** терминале проверьте размещение [s4](#src-s4):

ollama ps

Поле `PROCESSOR` различает `100% GPU`, `100% CPU` и смешанный режим [s4](#src-s4). CPU или смешанный режим сам по себе не ошибка модели: на результат влияет и конкретное устройство, и конфигурация; если ответ пригоден, зафиксируйте режим. Завершив пробу, закройте диалог. Если команда возвращает ошибку загрузки либо процесс завершается из-за недостатка ресурсов, не выводите «минимальную память Qwen» из одного случая: проверьте свободную RAM/VRAM, занятость другими программами и длину контекста на этой машине [s4](#src-s4).

**Более новая ветка:** при осознанном выборе Qwen3.8 и после оценки ресурсов замените команду на `ollama run qwen3.8:27b-q4_K_M` — этот отдельный тег присутствует в библиотеке [s3](#src-s3). Не скачивайте её только потому, что номер версии выше: набор данных, доступная память и ожидаемый результат для вашей задачи важнее имени. Если вариант не помещается или запуск слишком медленный, вернитесь к компактному Qwen3-8B и сравните ответы при одинаковых запросах; это предложенный способ локальной диагностики, не опубликованный сравнительный бенчмарк.

## Как выбрать ту же модель в LM Studio?

Этот маршрут подходит, когда нужен графический поиск и чат. В обычном **LM Studio** откройте Discover, ищите по точному адресу `Qwen/Qwen3-8B-GGUF` (документация допускает запрос вида `user/model` и URL Hugging Face), проверьте, что автор репозитория — `Qwen`, затем выберите именно `Q4_K_M` из доступных файлов, а не модель с похожим названием из чужого репозитория [s1](#src-s1) [s5](#src-s5). Вкладка Chat загружает скачанную модель в память и открывает диалог [s8](#src-s8). Если интерфейс не показывает нужную модель как поддерживаемую, не объявляйте её совместимой: уточните версию приложения, формат, ОС и список доступных runtime.

Для уже скачанной модели оцените конфигурацию **до** загрузки. В терминале с установленным CLI LM Studio посмотрите локальные ключи и вызовите оценку для выбранного ключа [s6](#src-s6):

lms lslms load --estimate-only <model_key> --context-length 4096

Подставьте ключ из `lms ls` вместо `<model_key>`. `4096` — только пример настройки для короткой пробы, не максимальный контекст и не гарантия точности ответа. `--estimate-only` возвращает оценку ресурсов без загрузки модели; фактический запуск всё равно проверяйте отдельно [s6](#src-s6). Не называйте рекомендацию приложения минимальной памятью модели. В этом гайде не предлагается облачный picker другого продукта LM Studio Bionic: описание относится к обычному LM Studio [s5](#src-s5) [s8](#src-s8).

## Когда использовать llama.cpp вместо приложения?

Если нужны явный файл GGUF, CLI и контроль параметров, установите llama.cpp по [отдельному гайду](/zhurnal/llama-cpp/). В каталоге собранного инструмента команда для **официального** репозитория Qwen3-8B-GGUF может выглядеть так; запись `-hf` с `:Q4_K_M`, параметр контекста `-c` и число GPU-слоёв `-ngl` документированы CLI [s1](#src-s1) [s7](#src-s7):

./llama-cli -hf Qwen/Qwen3-8B-GGUF:Q4_K_M --jinja -c 4096 -ngl 0

`-ngl 0` намеренно задаёт CPU-путь для первой проверки; он не обещает приемлемую скорость. После сверки своего GPU и сборки backend можно изменить offload по инструкции инструмента [s7](#src-s7). Первый запуск через Hub также требует загрузки данных; если модель не обнаружена, перепроверьте имя, тег и доступ к репозиторию. Не переносите параметры готового Qwen3-8B-GGUF на сырой Transformers-checkpoint Qwen3.8-27B: для llama.cpp нужен совместимый GGUF конкретной версии, а опубликованная карточка исходных весов Qwen3.8 описывает другой формат [s1](#src-s1) [s2](#src-s2).

## Как убедиться, что локальный результат пригоден?

Проверка состоит из **трёх отдельных вопросов**. (1) Открылась ли именно выбранная модель — запишите полный ID/тег и квант; названия без версии недостаточно. (2) Где она выполняется — в Ollama используйте `ollama ps`, а в других runtimes смотрите их собственные сведения о размещении [s4](#src-s4). (3) Решает ли она вашу задачу — повторите несколько заранее заданных примеров на русском и сохраните ошибки. Наличие GPU не подтверждает точность фактов, а красивый ответ не доказывает отсутствие обращения к облаку.

Если вход содержит документы, сравнивайте ответы только при одинаковом наборе файлов, настройке контекста и ожидаемых цитатах; сначала найдите нужный фрагмент вручную. Для рабочего контура отдельно проверяйте сетевые настройки и хранение данных приложения, а не выводите приватность из слова «локально». Если запуск не состоялся, [разбор требований компьютера](/zhurnal/kompyuter-dlya-lokalnyh-modeley/) поможет отделить несовместимость runtime от нехватки памяти. Если задача скорее про модель для кодинга или изображений, вернитесь к [карточке Qwen3.8](/modeli/qwen/qwen3-8/): текстовый контрольный тест Qwen3-8B не проверяет другие модальности и не заменяет выбора точной версии [s1](#src-s1) [s2](#src-s2).

**Основной следующий шаг:** откройте [установку Ollama](/zapusk/ollama/), запустите `qwen3:8b-q4_K_M` и сохраните точный тег, ответ на собственной задаче и вывод `ollama ps` [s3](#src-s3) [s4](#src-s4). Только после этого решайте, нужен ли вам иной runtime или более крупный Qwen3.8.

## Источники

1. [Qwen — Qwen3-8B-GGUF, карточка и список файлов](https://huggingface.co/Qwen/Qwen3-8B-GGUF/tree/7c41481f57cb95916b40956ab2f0b139b296d974) — получено 2026-09-23
2. [Qwen — Qwen3.8-27B, официальный checkpoint и лицензия](https://huggingface.co/Qwen/Qwen3.8-27B/tree/1d4bf0f2ff6012fd82039f2fa52739d0dd7c60c0) — получено 2026-09-23
3. [Ollama — теги Qwen3 и Qwen3.8](https://ollama.com/library/qwen3/tags) — получено 2026-09-23
4. [Ollama — FAQ: контекст, локальная загрузка и размещение](https://docs.ollama.com/faq) — получено 2026-09-23
5. [LM Studio — Download an LLM](https://lmstudio.ai/docs/app/basics/download-model) — получено 2026-09-23
6. [LM Studio — lms load, оценка памяти и контекст](https://lmstudio.ai/docs/cli/local-models/load) — получено 2026-09-23
7. [llama.cpp — CLI reference at pinned Git revision](https://github.com/ggml-org/llama.cpp/blob/4e416ee7308dd6b581796f1a6241276cd5982691/tools/cli/README.md) — получено 2026-09-23
8. [LM Studio — Get started with the desktop app](https://lmstudio.ai/docs/app/basics) — получено 2026-09-23