LM Studio: установка и выбор первой модели

Когда стоит выбрать LM Studio

LM Studio объединяет поиск моделей, загрузку, настройку запуска, чат и локальный сервер в одном приложении. Базовый путь в документации состоит из четырёх шагов: установить приложение, скачать модель через Discover, загрузить её в память и открыть чат s2. Это подходит пользователю, которому нужен графический интерфейс и возможность начать без ручной сборки runtime.

Приложение не отменяет необходимость выбирать модель и конфигурацию. Модель может не поместиться в доступную память, оказаться несовместимой с установленным runtime или не подходить для задачи. LM Studio также не превращает любые открытые веса в open source: документация отдельно предупреждает, что модели выпускаются под разными лицензиями и с разной степенью открытости s2. Перед рабочим использованием проверяйте карточку конкретного репозитория и текст лицензии.

Выбирайте LM Studio, если вам нужен один или несколько сценариев:

• локальный чат с моделью через графический интерфейс;
• загрузка поддерживаемых моделей с Hugging Face внутри приложения s4;
• предварительная оценка памяти перед фактической загрузкой s6;
• локальный OpenAI-совместимый API для программы или редактора s8;
• работа без интернета после предварительной загрузки приложения, модели и runtime — по заявлению разработчика s3.

Если главная задача — минимальный сервер без графического интерфейса или автоматизация через одну команду, сравните LM Studio с Ollama. Если нужен ручной контроль сборки и низкоуровневых параметров, отдельным вариантом остаётся llama.cpp.

Что проверить перед установкой

Сначала сверьте операционную систему, процессор и память с текущими требованиями приложения.

• Mac: документация перечисляет Apple Silicon M1–M4 и требует macOS 14.0 или новее. Intel Mac не поддерживается. Разработчик рекомендует 16 ГБ RAM, но отдельно пишет, что на Mac с 8 ГБ могут работать небольшие модели при умеренном окне контекста s1.
• Windows: поддерживаются x64 и ARM-системы; для x64 нужен набор инструкций AVX2. Рекомендованы не менее 16 ГБ RAM и дискретная видеокарта с 4 ГБ выделенной VRAM s1.
• Linux: поддерживаются x64 и ARM64, приложение распространяется как AppImage, требуется Ubuntu 20.04 или новее. Документация предупреждает, что версии Ubuntu новее 22 проверены хуже; x64-сборка по умолчанию использует AVX2 s1.

Эти числа относятся к приложению и общему старту, а не к любой модели. Даже если LM Studio устанавливается, конкретная модель может потребовать больше памяти. И наоборот, размер файла весов показывает объём скачивания и хранения, но не является точным минимумом RAM или VRAM: при загрузке учитываются дополнительные структуры, длина контекста, распределение слоёв между CPU и GPU и особенности архитектуры s6.

До установки определите контрольную задачу. Например: «переписать короткое письмо без внешнего API», «извлечь три поля из вымышленного документа» или «ответить на вопросы по локальному текстовому файлу». Без проверяемого результата выбор модели превращается в сравнение названий и размеров.

Для чистого первого теста меняйте только один фактор за раз. Сначала зафиксируйте модель и короткий запрос, затем отдельно сравнивайте квантизацию, контекст или GPU offload. Так ошибка совместимости не смешивается с изменением качества ответа.

Как установить LM Studio

1. Скачайте последнюю версию с официального сайта LM Studio и установите приложение для своей ОС. Для Linux используйте официальный AppImage; поддерживаемые архитектуры и версия Ubuntu указаны в системных требованиях s1 s2.
2. Запустите приложение и откройте вкладку Discover. Документация предлагает выбрать одну из отобранных моделей или найти модель по запросу s2.
3. Не загружайте несколько больших вариантов сразу. Сначала выберите один небольшой совместимый файл, чтобы проверить сам runtime и путь запуска.
4. После скачивания откройте вкладку Chat, вызовите загрузчик модели и выберите загруженный вариант. При загрузке LM Studio выделяет память под веса и другие параметры модели s2.
5. Отправьте короткий контрольный запрос и сохраните точное имя модели, вариант квантизации, длину контекста и версию приложения.

Скачивание приложения, поиск моделей, загрузка новых моделей и runtime требуют подключения к интернету s3. Если LM Studio нужен для закрытого или изолированного контура, подготовьте эти файлы заранее и отдельно проверьте процесс переноса по правилам вашей организации.

Как выбрать первую модель

В Discover можно искать по ключевому слову, строке user/model или полной ссылке Hugging Face s4. Для первого опыта выбирайте не самую крупную модель, а вариант, который:

1. предназначен для вашей задачи — обычный чат, код, извлечение данных или работа с изображениями;
2. имеет понятную карточку и лицензию;
3. доступен в формате, который показывает LM Studio;
4. помещается на диск и проходит оценку памяти;
5. даёт проверяемый результат на коротком тесте.

Одна модель часто доступна в нескольких квантизациях: в интерфейсе встречаются обозначения вроде Q3_K_S и Q8. Документация описывает квантизацию как уменьшение размера файлов с некоторой потерей качества и рекомендует 4-битный вариант или выше, если компьютер способен его запустить s4. Это ориентир разработчика, а не гарантия качества или совместимости. Сравнивайте варианты одной и той же модели на одинаковом тесте.

Через CLI тот же выбор можно сделать явнее. Команда lms get ищет и скачивает модели, поддерживает фильтры --gguf и --mlx, а конкретную квантизацию можно указать после @, например lms get llama-3.1-8b@q4_k_m s5. Название в примере взято из документации и не является рекомендацией Modelium для вашего компьютера.

Перед загрузкой используйте оценку ресурсов:

lms ls
lms load --estimate-only <model_key>

По документации режим --estimate-only не загружает модель, а выводит оценку памяти. Он учитывает заданную длину контекста, GPU offload, Flash Attention и наличие vision-компонента s6. Оценка полезнее размера файла, но остаётся расчётом приложения: после реального запуска проверяйте фактическое потребление памяти средствами операционной системы.

Если оценка слишком велика, меняйте по одному параметру: возьмите меньшую модель или более сильную квантизацию, сократите контекст либо уменьшите долю GPU offload. Не делайте одновременно несколько изменений, иначе причина результата останется неизвестной.

Как загрузить модель и настроить память

В графическом интерфейсе параметры можно изменить перед загрузкой. Для повторяемой конфигурации LM Studio позволяет сохранить отдельные значения для каждой модели: GPU offload, размер контекста и использование Flash Attention s7. Эти настройки применяются при следующих загрузках, включая lms load s7.

Эквивалентные CLI-команды документированы так:

lms load <model_key> --context-length 4096
lms load <model_key> --gpu 0.5
lms load <model_key> --ttl 3600

--context-length задаёт число токенов контекста, --gpu — долю переноса на GPU, а --ttl выгружает неиспользуемую модель после указанного числа секунд s6. Без явного --gpu приложение пытается выбрать использование GPU автоматически s6.

Не увеличивайте контекст «на всякий случай». Большое окно полезно только тогда, когда задача действительно требует длинного ввода, и может увеличить потребление памяти. Для первого теста используйте короткий запрос и умеренную длину контекста, затем меняйте её при измеримой необходимости.

Как проверить, что первый запуск успешен

Успешный запуск — это не только открывшееся окно чата. Проверьте последовательно:

1. модель загружается без ошибки;
2. приложение показывает именно выбранный файл и вариант квантизации;
3. короткий запрос получает полный ответ;
4. ответ выполняет заранее заданное условие;
5. повторный запрос на той же конфигурации даёт сопоставимый результат;
6. фактическое использование RAM и VRAM не приводит к зависанию или постоянному свопингу;
7. после отключения сети локальный чат продолжает работать, если офлайн-режим обязателен.

Разработчик заявляет, что чат с уже загруженной моделью, работа с локальными документами и локальный сервер не требуют интернета, а данные чата и документы не покидают устройство s3. Это заявление поставщика. Для персональных, коммерческих или регулируемых данных дополнительно проверяйте сетевые соединения, плагины, журналы, резервные копии и политику организации.

Сохраните журнал теста: версия LM Studio, ОС, процессор, GPU, RAM и VRAM, имя модели, квантизация, контекст, GPU offload, текст запроса, ожидаемый результат и наблюдаемая ошибка. Такой журнал позволяет отличить проблему модели от изменения runtime или настроек.

Как подключить локальный API

LM Studio документирует OpenAI-совместимые endpoints GET /v1/models, POST /v1/responses, POST /v1/chat/completions, POST /v1/embeddings и POST /v1/completions s8. Для существующего OpenAI-клиента разработчик предлагает заменить базовый URL на адрес локального сервера; в примерах используется http://localhost:1234/v1 s8.

Это совместимость интерфейса, а не обещание идентичного поведения облачной модели. Результат зависит от загруженной локальной модели, её шаблона, поддержки structured output и tool calling. Сначала проверьте обычный чат, затем отдельным тестом — каждый endpoint и формат ответа, который использует ваше приложение.

Не открывайте локальный сервер во внешнюю сеть без необходимости. Если доступ нужен другим устройствам в локальной сети, отдельно определите аутентификацию, разрешённые адреса, межсетевой экран и допустимые данные.

Что делать, если модель не запускается

Идите от воспроизводимых проверок к изменениям:

• если приложение не устанавливается, повторно сверьте ОС, архитектуру процессора, AVX2 и минимальную версию системы s1;
• если модель не находится без сети, помните, что Discover, загрузка моделей и получение runtime требуют интернета s3;
• если загрузка упирается в память, запустите lms load --estimate-only, уменьшите контекст и проверьте GPU offload s6;
• если вариант слишком тяжёлый, выберите меньшую модель или другую квантизацию, не называя размер файла минимальной RAM/VRAM s4;
• если параметры каждый раз сбрасываются, сохраните per-model defaults для контекста, GPU offload и Flash Attention s7;
• если API-клиент не подключается, проверьте базовый URL, порт, идентификатор загруженной модели и конкретный endpoint s8.

После первого успешного запуска переходите к выбору модели под задачу. Сравнивайте назначение, лицензию, формат и проверяемый результат, а не только число параметров или популярность репозитория.