Перейти к содержанию
modelium.
Начать с задачи
←
Новость

KV-кеш LM Studio: размещение в памяти GPU или RAM

На странице · 3 разделов

Offload KV Cache to GPU Memory определяет, где LM Studio хранит KV-кеш — рабочие данные уже обработанного текста диалога. Для модели на движке llama.cpp выключение опции размещает кеш в оперативной памяти компьютера вместо памяти видеокарты. Проверьте настройку у загруженной модели; это не гарантия экономии общей памяти или ускорения.

Если LM Studio не хватает памяти видеокарты, в параметрах загрузки можно найти Offload KV Cache to GPU Memory. KV-кеш — рабочие данные о тексте, который модель уже обработала в диалоге. В отличие от обычного GPU offload слоёв модели, этот переключатель относится к размещению кеша: выключенное значение отправляет его в оперативную память компьютера для модели на движке llama.cpp. Это возможный обмен одного ресурса памяти на другой, не гарантированное решение ошибки загрузки. s1 s3

Статус на 29 октября 2026 года: инструкция основана на документации LM Studio и зафиксированном списке файлов модели. Modelium не запускал программу на Windows, не проверял точное положение переключателя в текущем GUI и не измерял расход памяти или скорость. s1 s3

Что понадобится до переключения?

Нужен компьютер с Windows x64, LM Studio, видеокарта и скачанная текстовая модель. В качестве одного примера возьмём Qwen3 4B GGUF: страница LM Studio указывает на lmstudio-community/Qwen3-4B-GGUF, а в закреплённом списке этого репозитория есть Qwen3-4B-Q4_K_M.gguf. GGUF — формат файла модели, Q4_K_M — вариант её сжатия. Список, доступный прямо сейчас в Discover, может отличаться; если указанного файла нет, не подменяйте его другим и не считайте следующие шаги испытанными. s6 s10 s11

Для Windows x64 программа требует поддержку AVX2 — набора команд процессора. LM Studio рекомендует 16 ГБ оперативной памяти и 4 ГБ выделенной видеопамяти: это не минимум Qwen3 4B и не гарантия её загрузки. Интернет нужен для установки и скачивания файлов; работа с уже загруженной моделью, по документации, возможна без сети, но редакция не проводила сетевой тест своей установки. s5 s9

Как выбрать размещение кеша для одной загрузки?

  1. В Discover найдите точный репозиторий lmstudio-community/Qwen3-4B-GGUF и вариант Qwen3-4B-Q4_K_M.gguf, если они показаны, скачайте файл. Затем откройте Chat и выберите его в меню модели. Если модель уже скачана, повторно загружать файл из сети не нужно. s6 s10 s11
  2. До загрузки в память откройте параметры выбранной модели и найдите Offload KV Cache to GPU Memory. Запишите исходное состояние; для сравнения выключите переключатель только для этой загрузки, не сохраняя настройку по умолчанию. Официальная заметка о v0.3.16 называла этот пункт среди настроек загрузки и GPU; если в вашей версии интерфейса его нет, не угадывайте положение и не меняйте иные параметры наугад. s3 s4
  3. Загрузите тот же файл и дождитесь поля ввода. Отправьте маленький учебный запрос: «В записке сказано: встреча в среду в 14:00. Назови день и время одной фразой». Сверьте день и время с исходной фразой. Это пример ввода, а не полученный редакцией ответ. Если загрузка не удалась, верните записанное исходное состояние и проверьте ошибку; отключение этого кеша не гарантирует устранения нехватки памяти. s1 s6

Как проверить применённое значение и ограничения?

Если нужен контроль конфигурации, в Developer включите Start server, оставив доступ только со своего компьютера. При выключенном требовании API-токена на этом же компьютере откройте http://localhost:1234/api/v1/models (при другом порте используйте свой локальный адрес). Для точного файла найдите loaded_instances — работающие экземпляры — затем config.offload_kv_cache_to_gpu: false. Документация API v1 помечает поле как необязательное: его отсутствие не доказывает ни false, ни true; у embedding-моделей (моделей числовых представлений текста) его нет. Если сервер требует токен, не отключайте защиту ради статьи и не вставляйте секрет в URL: используйте доверенный клиент по документации либо ограничьтесь проверкой загрузки через Chat. s1 s2 s7 s8

false показывает выбор размещения KV-кеша в RAM на совместимом движке, но не измеряет фактическую память, скорость или качество ответа. Для сравнения держите файл, длину контекста и запрос одинаковыми, смотрите отдельно на расход RAM/VRAM на своём компьютере и возвращайте исходное состояние, если оперативной памяти стало не хватать или скорость снизилась. Это предложение читателю по методу проверки, не опыт Modelium. Для повторного использования параметра откройте настройки модели по умолчанию; обычный GPU offload меняет другую часть загрузки. s1 s4

Источники

  1. LM Studio — Load a model (REST API v1) — Опциональный offload_kv_cache_to_gpu; false означает RAM, эффект ограничен llama.cpp-based engine; raw HTML сохранён.. Получено 29.10.2026.
  2. LM Studio — List your models (REST API v1) — GET /api/v1/models; loaded_instances[].config.offload_kv_cache_to_gpu как необязательное поле, без embedding-моделей.. Получено 29.10.2026.
  3. LM Studio v0.3.16 — official release note — Историческое появление GUI-переключателя в model load options и GPU settings; не доказательство идентичного нынешнего интерфейса.. Получено 29.10.2026.
  4. LM Studio — Per-model Defaults — Разовая настройка при загрузке; My Models → шестерёнка сохраняет default отдельно; не смешивать с разовым действием.. Получено 29.10.2026.
  5. LM Studio — System Requirements — AVX2 Windows x64, рекомендации 16 GB RAM/4 GB dedicated VRAM; не минимум модели.. Получено 29.10.2026.
  6. LM Studio — Get started — Discover для загрузки модели, Chat для выбора уже скачанного файла.. Получено 29.10.2026.
  7. LM Studio — Local LLM API Server — Developer → Start server, локальный адрес по умолчанию; проверять на том же компьютере.. Получено 29.10.2026.
  8. LM Studio — API Authentication — При включённом токене URL в браузере не использовать для обхода или передачи секрета.. Получено 29.10.2026.
  9. LM Studio — Offline Operation — Скачивание модели/движка требует сети, работа с подготовленной моделью без интернета допустима по документации.. Получено 29.10.2026.
  10. LM Studio — Qwen3 4B model page — Официальная страница связывает Qwen3 4B с lmstudio-community/Qwen3-4B-GGUF.. Получено 29.10.2026.
  11. lmstudio-community/Qwen3-4B-GGUF — pinned inventory — revision aaffcf9c16d545f8a889846b98676ddf359aa9e9; На этой ревизии siblings содержит Qwen3-4B-Q4_K_M.gguf; наличие в текущем поиске GUI не подтверждено.. Получено 29.10.2026.