# Спекулятивное декодирование в LM Studio: как проверить ускорение

Источник: https://modelium.tech/zhurnal/lm-studio-speculative-decoding/

В LM Studio спекулятивное декодирование позволяет небольшой черновой модели предлагать продолжение ответа, которое проверяет основная модель. Для настройки загрузите совместимую пару, включите режим разработчика и выберите Draft Model в боковой панели чата. Сравните одинаковый запрос с черновой моделью и без неё: на вашем компьютере метод может не ускорить, а замедлить ответ.

Если большая модель в LM Studio отвечает медленно, можно попробовать **не менять её, а дать ей маленького помощника**. Помощник заранее предлагает следующие части текста, основная модель их проверяет. Это называется *спекулятивным декодированием*; оно может ускорить генерацию, но на вашей задаче может и замедлить её. [s1](#src-s1)

**Инструкция по документации на 10 октября 2026 года.** Редакция сверила справку LM Studio и закреплённые карточки Qwen, но не запускала Windows, приложение, модели и не измеряла скорость. Это настройка повышенной сложности, а не обещание ускорения или домашний рецепт для слабого компьютера. [s1](#src-s1) [s6](#src-s6) [s7](#src-s7)

## Что нужно до включения?

Для примера возьмите настольный LM Studio на Windows и **две модели одной линейки**, указанные в справке разработчика: основную Qwen 2.5 14B Instruct и черновую Qwen 2.5 0.5B Instruct. У автора есть GGUF-файлы обеих моделей, в том числе Q4_K_M — вариант с уменьшенной точностью хранения параметров. Он занимает меньше места, но может влиять на качество ответа. Оба репозитория помечены лицензией Apache-2.0. Выбирайте именно репозитории `Qwen/Qwen2.5-14B-Instruct-GGUF` и `Qwen/Qwen2.5-0.5B-Instruct-GGUF`, а не произвольную смесь семейств. Совпадение словаря, на который модели разбивают текст, обязательно; даже внутри семейства ориентируйтесь на список совместимости в самом приложении. [s1](#src-s1) [s6](#src-s6) [s7](#src-s7)

Windows x64 требует AVX2 — набора инструкций процессора; поддерживается и Windows на ARM. LM Studio рекомендует не менее 16 ГБ оперативной памяти и видеокарту с 4 ГБ видеопамяти **для работы с языковыми моделями в целом**. Это **не** подтверждённый минимум для одновременной работы выбранной пары: отдельные требования к оперативной памяти, видеопамяти и свободному месту для неё источники не устанавливают. Если обе модели не помещаются, остановитесь; не делайте вывод о пригодности компьютера по размеру файлов. [s4](#src-s4) [s1](#src-s1)

Интернет нужен для поиска и скачивания файлов моделей и, при необходимости, движка LM Studio. После подготовки обычный чат с локальными моделями может работать без сети. Мы не проверяли офлайн-режим именно этой пары на отдельном компьютере. [s3](#src-s3) [s5](#src-s5)

## Как подключить черновую модель в чате?

- Откройте LM Studio → **Discover**. Найдите по очереди точные строки двух репозиториев Qwen, выберите совместимые GGUF-варианты и дождитесь окончания каждой загрузки; в списке локальных моделей должны появиться обе. Выбор Q4_K_M — пример формата в карточках, а не гарантия, что два варианта поместятся на вашем ПК. [s3](#src-s3) [s6](#src-s6) [s7](#src-s7)

- Включите **Developer** через **Settings → Developer**. Страница о спекулятивном декодировании ещё называет прежний «Power User», но действующая справка режимов говорит, что его возможности объединены в Developer. Вернитесь к чату и загрузите основную Qwen 2.5 14B Instruct; убедитесь, что она отвечает на короткий тестовый вопрос **без** черновой модели. [s1](#src-s1) [s2](#src-s2)

- В боковой панели чата откройте **Speculative Decoding → Draft Model** и выберите меньшую Qwen 2.5 0.5B Instruct из совместимых вариантов. Справка указывает, что после загрузки обеих моделей достаточно начать чат; если нужной модели нет в списке, не назначайте другую наугад. [s1](#src-s1)

Учебный запрос для собственного теста: «Перепиши вежливо, не меняя смысл: Встреча в четверг в 15:00, пришлите план до среды». Это **ввод для проверки**, а не воспроизведённый вывод моделей. Убедитесь, что день и время встречи в ответе не изменились. Черновая модель не снимает с человека проверку фактов.

## Как понять, стало ли быстрее?

Сохраните запрос и настройки основной модели. Создайте **два новых чата без предыстории** с одной основной моделью: первый — без выбранной Draft Model, второй — с ней. Отправьте одинаковый запрос в оба чата и повторите сравнение на новых пустых чатах. Отдельно засеките время ответа после загрузки моделей; сравнивайте ответы близкой длины и запишите устройство, версии программы и движка, точные файлы и длину каждого ответа. Если убрать Draft Model в вашей версии интерфейса не получается, не делайте вывод о скорости по несопоставимым условиям. Одно быстрое прохождение не доказывает постоянного выигрыша. Это предложенная редакцией проверка, **не** результат собственного теста. [s1](#src-s1)

Разработчик предупреждает: две модели требуют больше вычислительных ресурсов; если черновая слишком медленная либо её предложения часто не подходят основной, ответ может стать медленнее. Задачи с однозначным продолжением и свободное сочинение могут вести себя по-разному. Если Draft Model отсутствует или обе модели не загружаются, проверьте режим Developer, общий словарь и доступную память; вернитесь к одной основной модели, если в вашей конфигурации ускорения нет. [s1](#src-s1) [s2](#src-s2)

**Следующий шаг:** [проверьте обычный запуск LM Studio с основной моделью](/zhurnal/lm-studio/) до настройки второй. Для другого способа запуска есть [разбор speculative decoding в llama.cpp](/zhurnal/llama-cpp-speculative-decoding/), а [CLI LM Studio](/zhurnal/lm-studio-cli-lms/) помогает отдельно оценивать загрузку. [s1](#src-s1)

## Источники

1. [LM Studio: Speculative Decoding](https://lmstudio.ai/docs/app/advanced/speculative-decoding) — получено 2026-10-10
2. [LM Studio: User or Developer](https://lmstudio.ai/docs/app/user-interface/modes) — получено 2026-10-10
3. [LM Studio: Download an LLM](https://lmstudio.ai/docs/app/basics/download-model) — получено 2026-10-10
4. [LM Studio: System Requirements](https://lmstudio.ai/docs/app/system-requirements) — получено 2026-10-10
5. [LM Studio: Offline Operation](https://lmstudio.ai/docs/app/offline) — получено 2026-10-10
6. [Qwen2.5-14B-Instruct-GGUF — модель автора](https://huggingface.co/Qwen/Qwen2.5-14B-Instruct-GGUF/tree/b466e1f8c07172155743e8e1307507d8a4f91fbd) — получено 2026-10-10
7. [Qwen2.5-0.5B-Instruct-GGUF — модель автора](https://huggingface.co/Qwen/Qwen2.5-0.5B-Instruct-GGUF/tree/9217f5db79a29953eb74d5343926648285ec7e67) — получено 2026-10-10