DeepSeek локально: выбрать веса и запустить через Ollama или LM Studio

Какой DeepSeek можно запустить локально?

DeepSeek — имя семейства, а не один файл. Для воспроизводимой первой попытки ниже выбран deepseek-ai/DeepSeek-R1-Distill-Qwen-7B: автор указывает, что это дистиллированная модель на основе Qwen2.5-Math-7B. Полный DeepSeek-R1 — иная, значительно более крупная модель; её нельзя считать тем же checkpoint с другим квантом s1. Не подменяйте R1 Distill моделью DeepSeek V4 или ответом сайта DeepSeek. Перед скачиванием выпишите полное имя модели, издателя, формат файла и квант; карточка R1 помогает разобраться с вариантами, а V4 — другой адрес и другая серия.

Исходная карточка DeepSeek распространяет собственный checkpoint в формате для Transformers/Safetensors и помечает лицензию MIT; текст LICENSE хранится отдельно s1 s2. Для графического GGUF-маршрута ниже используется файл стороннего конвертера, bartowski/DeepSeek-R1-Distill-Qwen-7B-GGUF, в закреплённой ревизии которого присутствует DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf s3. Не называйте этот GGUF «официальными весами DeepSeek»: проверяйте автора, исходную модель, лицензию конкретной копии и её условия до коммерческого применения. Открытые веса, открытый код приложения, бесплатность и право на коммерческое использование — разные вопросы.

Библиотека Ollama предлагает отдельный явный тег deepseek-r1:7b-qwen-distill-q4_K_M и команду его запуска; на странице файла указано 4,7 GB на диске s4. Эта цифра не является минимальной RAM/VRAM: к весам добавляются рабочее состояние runtime, контекст и другие процессы. В этой статье нет универсального числа «сколько памяти нужно для DeepSeek»; проверьте доступные ресурсы и фактическое размещение на своей машине s5 s7. Если работаете с маленьким устройством, сначала откройте метод выбора компьютера и не скачивайте вариант только по размеру файла.

Когда выбрать Ollama, а когда LM Studio?

Ollama — быстрый CLI-путь, когда нужен точный тег, повторяемая команда и возможность позже обратиться к локальному API; официальный каталог показывает команду для этого тега s4. LM Studio — путь с поиском в Discover, загрузкой поддерживаемого файла и чатом в графическом приложении; документация принимает запрос user/model или полный URL Hugging Face s6 s8. Это два способа проверить один сценарий, но тег Ollama и файл GGUF стороннего автора не обязательно побайтово совпадают. Не делайте вывод о превосходстве runtime без одинаковых файлов, настроек и тестового набора.

Для первого результата выберите один маршрут. Если нужен только локальный ответ на известный вопрос, начните с Ollama ниже. Если уже работаете в LM Studio и хотите вручную выбрать GGUF, идите ко второму маршруту. Оба потребуют сети для первоначальной загрузки; отсутствие дальнейшей передачи данных нужно проверять по настройкам каждого компонента и сетевым потокам, а не выводить из надписи «локально» s5 s8.

Как запустить R1 Distill 7B в Ollama?

Установите Ollama по гайду Modelium для своей ОС, убедитесь, что приложение доступно в терминале, затем запустите конкретный тег из библиотеки s4:

ollama run deepseek-r1:7b-qwen-distill-q4_K_M

Первая команда загрузит модель; убедитесь, что на диске достаточно свободного места и сеть доступна. Дождитесь приглашения для ввода, задайте короткий контрольный запрос с заранее известным ответом: «Напиши два предложения о назначении модели и отдельно повтори число 17». Отдельно дайте небольшой реальный запрос на русском, ответ на который вы способны проверить. Зафиксируйте точный тег, условия, ожидание и фактический ответ. Появление связного текста означает лишь, что запустился диалог, но не подтверждает точность, отсутствие облака или пригодность для рабочего процесса.

Пока модель загружена, в другом терминале выполните s5:

ollama ps

В поле PROCESSOR FAQ Ollama различает размещение на CPU, GPU или совместное s5. Зафиксируйте фактический режим, версию приложения и длину ввода. CPU-режим может быть медленнее; это не повод объявлять модель «несовместимой» по одному устройству. Если модель не запустилась, проверьте правильность полного тега, соединение при загрузке, свободное место, доступную RAM/VRAM и настройки контекста; если ответ слишком медленный, сначала посмотрите ollama ps, а затем решайте, менять ли квант или устройство s4 s5.

Не заменяйте тег на deepseek-r1:latest или просто deepseek-r1: библиотека перечисляет и другие размеры и обновлённые версии, так что это уже может быть другой checkpoint s4. Для повторной проверки сохраняйте именно строку тега; при изменении тега повторите контрольный набор. Когда проба закончена, завершите диалог; следующий запуск снова проверяйте через ollama ps, потому что размещение зависит от текущих ресурсов s5.

Как открыть DeepSeek в обычном LM Studio?

Установите обычное приложение LM Studio по отдельной инструкции. В Discover вставьте bartowski/DeepSeek-R1-Distill-Qwen-7B-GGUF либо URL репозитория; документация приложения допускает оба формата поиска s3 s6. Сверьте автора bartowski и происхождение от официальной Distill-Qwen-7B; выберите DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf только если установленная версия LM Studio показывает его как поддерживаемый вариант s3 s6. Этот файл — не исходный Safetensors checkpoint автора и не гарантия той же численной выдачи, что официальный репозиторий.

До загрузки модели в память можно оценить конфигурацию через CLI приложения. Выпишите ключ, который показывает локальный список, и подставьте его вместо заполнителя s7:

lms ls
lms load --estimate-only <model_key> --context-length 4096

4096 — пример параметра пробного контекста, не заявленный предел модели и не универсально достаточная длина. Документация LM Studio описывает --estimate-only как оценку памяти без загрузки; она учитывает выбранный контекст, но не гарантирует успех или скорость конкретного запуска s7. Вкладка Chat загружает скачанную модель и позволяет начать диалог в обычном LM Studio s8. Не переносите на этот интерфейс описание отдельного продукта LM Studio Bionic.

Повторите тот же короткий и реальный вопрос, сохраните ключ файла и параметры загрузки. Если Discover не находит репозиторий или файл не поддерживается, не переименовывайте другую модель в «тот же DeepSeek»: проверьте точный URL, формат, версию приложения и доступный runtime. Если оценка не помещается, уменьшите пробный контекст либо выберите другой вариант и запишите, что условия изменились. Для выгрузки из памяти после теста CLI документирует lms unload <model_key>; она не удаляет скачанный файл s7.

Как понять, что локальный запуск решил задачу?

Проверяйте три разных результата: (1) какой конкретно ID/тег или GGUF загружен, (2) где реально выполняется inference и сколько свободных ресурсов осталось, (3) проходит ли ответ заранее записанный контрольный набор. Для каждой задачи сохраните несколько русских примеров и эталонные критерии. Если нужен документ с точными цифрами, вручную сверяйте их с оригиналом; не заменяйте фактчек оценкой автора модели. Таблицы результатов в карточках DeepSeek — заявления разработчика в его условиях, не проверка Modelium и не предсказание качества на ваших данных s1.

Если модель отвечает, но путает цифры, не загружайте конфиденциальный рабочий корпус ради следующей попытки: сначала исправьте контрольный набор и условия обработки. Если ответа нет или процесс падает, сохраните текст ошибки, точный вариант, runtime, ОС и параметры — это воспроизводимая отправная точка для выбора другого файла или устройства. У облачного DeepSeek Chat иной путь данных: локальный запуск не доказывает, что сторонний UI, обновления или интеграции не обращаются в сеть. Разделяйте проверку качества и сетевой изоляции.

Основной следующий шаг: откройте установку Ollama, запустите deepseek-r1:7b-qwen-distill-q4_K_M и сохраните полный тег, ответ на своём проверяемом вопросе и вывод ollama ps s4 s5. Если Ollama не подходит, вернитесь к маршруту LM Studio с конкретным GGUF и повторите тот же набор вопросов, не смешивая результаты разных вариантов.