Qwen локально: выбрать версию и запустить через Ollama, LM Studio или llama.cpp

Какой Qwen скачивать для первого локального запуска?

Сначала выберите задачу и точный вариант весов. Для первого текстового диалога с проверяемым ответом используйте официальный Qwen3-8B-GGUF: в репозитории автора есть файл Qwen3-8B-Q4_K_M.gguf и альтернативные кванты, включая Q8_0 s1. Для локальной пробы это конкретнее, чем абстрактное «скачать Qwen». Qwen3.8-27B — иной checkpoint, чья авторская карточка описывает уже другой набор весов в Transformers и указывает собственные функции; не переименовывайте Qwen3-8B в Qwen3.8 ради свежести s1 s2.

Если ваш запрос о Qwen3.8, сначала загляните в паспорт этой версии, затем отдельно оцените доступную память и совместимость runtime. Ollama перечисляет, в частности, qwen3.8:27b-q4_K_M, а для компактного стартового варианта Qwen3 — qwen3:8b-q4_K_M s3. Названия похожи, но это не один и тот же файл или сопоставимый тест качества. Размер файла на диске сам по себе не определяет минимальную RAM/VRAM: контекст, KV-кэш, runtime и размещение на CPU/GPU также влияют на расход; перед рабочим использованием запустите точный вариант на своём устройстве s4 s6.

Карточки обоих официальных репозиториев Qwen указывают apache-2.0 s1 s2. Это сведения о конкретных репозиториях, не обещание такой же лицензии для любой модели, производного кванта или сторонней сборки с названием Qwen. Сверяйте файл лицензии именно скачиваемого репозитория до коммерческого использования.

Как быстро запустить Qwen через Ollama?

Предусловие: установлена Ollama и есть доступ к загрузке модели. Откройте инструкцию по Ollama для своей ОС; для первого шага используйте точный тег из официальной библиотеки, а не latest, который может означать другой вариант s3:

ollama run qwen3:8b-q4_K_M

Первый вызов скачивает веса; потребуется свободное место на диске и сеть. После появления приглашения чата задайте два заранее подготовленных вопроса: один короткий с известным правильным ответом, другой типичный для вашей работы. Запишите точный тег, длину входа, ожидаемый и фактический ответ. Это ваш локальный пробный запуск, не тест Modelium.

Пока модель работает, в другом терминале проверьте размещение s4:

ollama ps

Поле PROCESSOR различает 100% GPU, 100% CPU и смешанный режим s4. CPU или смешанный режим сам по себе не ошибка модели: на результат влияет и конкретное устройство, и конфигурация; если ответ пригоден, зафиксируйте режим. Завершив пробу, закройте диалог. Если команда возвращает ошибку загрузки либо процесс завершается из-за недостатка ресурсов, не выводите «минимальную память Qwen» из одного случая: проверьте свободную RAM/VRAM, занятость другими программами и длину контекста на этой машине s4.

Более новая ветка: при осознанном выборе Qwen3.8 и после оценки ресурсов замените команду на ollama run qwen3.8:27b-q4_K_M — этот отдельный тег присутствует в библиотеке s3. Не скачивайте её только потому, что номер версии выше: набор данных, доступная память и ожидаемый результат для вашей задачи важнее имени. Если вариант не помещается или запуск слишком медленный, вернитесь к компактному Qwen3-8B и сравните ответы при одинаковых запросах; это предложенный способ локальной диагностики, не опубликованный сравнительный бенчмарк.

Как выбрать ту же модель в LM Studio?

Этот маршрут подходит, когда нужен графический поиск и чат. В обычном LM Studio откройте Discover, ищите по точному адресу Qwen/Qwen3-8B-GGUF (документация допускает запрос вида user/model и URL Hugging Face), проверьте, что автор репозитория — Qwen, затем выберите именно Q4_K_M из доступных файлов, а не модель с похожим названием из чужого репозитория s1 s5. Вкладка Chat загружает скачанную модель в память и открывает диалог s8. Если интерфейс не показывает нужную модель как поддерживаемую, не объявляйте её совместимой: уточните версию приложения, формат, ОС и список доступных runtime.

Для уже скачанной модели оцените конфигурацию до загрузки. В терминале с установленным CLI LM Studio посмотрите локальные ключи и вызовите оценку для выбранного ключа s6:

lms ls
lms load --estimate-only <model_key> --context-length 4096

Подставьте ключ из lms ls вместо <model_key>. 4096 — только пример настройки для короткой пробы, не максимальный контекст и не гарантия точности ответа. --estimate-only возвращает оценку ресурсов без загрузки модели; фактический запуск всё равно проверяйте отдельно s6. Не называйте рекомендацию приложения минимальной памятью модели. В этом гайде не предлагается облачный picker другого продукта LM Studio Bionic: описание относится к обычному LM Studio s5 s8.

Когда использовать llama.cpp вместо приложения?

Если нужны явный файл GGUF, CLI и контроль параметров, установите llama.cpp по отдельному гайду. В каталоге собранного инструмента команда для официального репозитория Qwen3-8B-GGUF может выглядеть так; запись -hf с :Q4_K_M, параметр контекста -c и число GPU-слоёв -ngl документированы CLI s1 s7:

./llama-cli -hf Qwen/Qwen3-8B-GGUF:Q4_K_M --jinja -c 4096 -ngl 0

-ngl 0 намеренно задаёт CPU-путь для первой проверки; он не обещает приемлемую скорость. После сверки своего GPU и сборки backend можно изменить offload по инструкции инструмента s7. Первый запуск через Hub также требует загрузки данных; если модель не обнаружена, перепроверьте имя, тег и доступ к репозиторию. Не переносите параметры готового Qwen3-8B-GGUF на сырой Transformers-checkpoint Qwen3.8-27B: для llama.cpp нужен совместимый GGUF конкретной версии, а опубликованная карточка исходных весов Qwen3.8 описывает другой формат s1 s2.

Как убедиться, что локальный результат пригоден?

Проверка состоит из трёх отдельных вопросов. (1) Открылась ли именно выбранная модель — запишите полный ID/тег и квант; названия без версии недостаточно. (2) Где она выполняется — в Ollama используйте ollama ps, а в других runtimes смотрите их собственные сведения о размещении s4. (3) Решает ли она вашу задачу — повторите несколько заранее заданных примеров на русском и сохраните ошибки. Наличие GPU не подтверждает точность фактов, а красивый ответ не доказывает отсутствие обращения к облаку.

Если вход содержит документы, сравнивайте ответы только при одинаковом наборе файлов, настройке контекста и ожидаемых цитатах; сначала найдите нужный фрагмент вручную. Для рабочего контура отдельно проверяйте сетевые настройки и хранение данных приложения, а не выводите приватность из слова «локально». Если запуск не состоялся, разбор требований компьютера поможет отделить несовместимость runtime от нехватки памяти. Если задача скорее про модель для кодинга или изображений, вернитесь к карточке Qwen3.8: текстовый контрольный тест Qwen3-8B не проверяет другие модальности и не заменяет выбора точной версии s1 s2.

Основной следующий шаг: откройте установку Ollama, запустите qwen3:8b-q4_K_M и сохраните точный тег, ответ на собственной задаче и вывод ollama ps s3 s4. Только после этого решайте, нужен ли вам иной runtime или более крупный Qwen3.8.