Спекулятивное декодирование в LM Studio: как проверить ускорение

Что нужно до включения?

Для примера возьмите настольный LM Studio на Windows и две модели одной линейки, указанные в справке разработчика: основную Qwen 2.5 14B Instruct и черновую Qwen 2.5 0.5B Instruct. У автора есть GGUF-файлы обеих моделей, в том числе Q4_K_M — вариант с уменьшенной точностью хранения параметров. Он занимает меньше места, но может влиять на качество ответа. Оба репозитория помечены лицензией Apache-2.0. Выбирайте именно репозитории Qwen/Qwen2.5-14B-Instruct-GGUF и Qwen/Qwen2.5-0.5B-Instruct-GGUF, а не произвольную смесь семейств. Совпадение словаря, на который модели разбивают текст, обязательно; даже внутри семейства ориентируйтесь на список совместимости в самом приложении. s1 s6 s7

Windows x64 требует AVX2 — набора инструкций процессора; поддерживается и Windows на ARM. LM Studio рекомендует не менее 16 ГБ оперативной памяти и видеокарту с 4 ГБ видеопамяти для работы с языковыми моделями в целом. Это не подтверждённый минимум для одновременной работы выбранной пары: отдельные требования к оперативной памяти, видеопамяти и свободному месту для неё источники не устанавливают. Если обе модели не помещаются, остановитесь; не делайте вывод о пригодности компьютера по размеру файлов. s4 s1

Интернет нужен для поиска и скачивания файлов моделей и, при необходимости, движка LM Studio. После подготовки обычный чат с локальными моделями может работать без сети. Мы не проверяли офлайн-режим именно этой пары на отдельном компьютере. s3 s5

Как подключить черновую модель в чате?

1. Откройте LM Studio → Discover. Найдите по очереди точные строки двух репозиториев Qwen, выберите совместимые GGUF-варианты и дождитесь окончания каждой загрузки; в списке локальных моделей должны появиться обе. Выбор Q4_K_M — пример формата в карточках, а не гарантия, что два варианта поместятся на вашем ПК. s3 s6 s7
2. Включите Developer через Settings → Developer. Страница о спекулятивном декодировании ещё называет прежний «Power User», но действующая справка режимов говорит, что его возможности объединены в Developer. Вернитесь к чату и загрузите основную Qwen 2.5 14B Instruct; убедитесь, что она отвечает на короткий тестовый вопрос без черновой модели. s1 s2
3. В боковой панели чата откройте Speculative Decoding → Draft Model и выберите меньшую Qwen 2.5 0.5B Instruct из совместимых вариантов. Справка указывает, что после загрузки обеих моделей достаточно начать чат; если нужной модели нет в списке, не назначайте другую наугад. s1

Учебный запрос для собственного теста: «Перепиши вежливо, не меняя смысл: Встреча в четверг в 15:00, пришлите план до среды». Это ввод для проверки, а не воспроизведённый вывод моделей. Убедитесь, что день и время встречи в ответе не изменились. Черновая модель не снимает с человека проверку фактов.

Как понять, стало ли быстрее?

Сохраните запрос и настройки основной модели. Создайте два новых чата без предыстории с одной основной моделью: первый — без выбранной Draft Model, второй — с ней. Отправьте одинаковый запрос в оба чата и повторите сравнение на новых пустых чатах. Отдельно засеките время ответа после загрузки моделей; сравнивайте ответы близкой длины и запишите устройство, версии программы и движка, точные файлы и длину каждого ответа. Если убрать Draft Model в вашей версии интерфейса не получается, не делайте вывод о скорости по несопоставимым условиям. Одно быстрое прохождение не доказывает постоянного выигрыша. Это предложенная редакцией проверка, не результат собственного теста. s1

Разработчик предупреждает: две модели требуют больше вычислительных ресурсов; если черновая слишком медленная либо её предложения часто не подходят основной, ответ может стать медленнее. Задачи с однозначным продолжением и свободное сочинение могут вести себя по-разному. Если Draft Model отсутствует или обе модели не загружаются, проверьте режим Developer, общий словарь и доступную память; вернитесь к одной основной модели, если в вашей конфигурации ускорения нет. s1 s2

Следующий шаг: проверьте обычный запуск LM Studio с основной моделью до настройки второй. Для другого способа запуска есть разбор speculative decoding в llama.cpp, а CLI LM Studio помогает отдельно оценивать загрузку. s1