Flash Attention в LM Studio: включить для модели и проверить

Что нужно до переключения?

Нужен LM Studio на Windows и уже скачанный совместимый файл модели. Для конкретного примера используем Qwen3-4B-Q4_K_M.gguf из репозитория Qwen/Qwen3-4B-GGUF: его наличие подтверждено на закреплённой ревизии автора. GGUF — формат файла весов модели, а Q4_K_M — обозначение варианта сжатия. Это пример, не обещание, что именно этот файл доступен в каждом текущем каталоге приложения. Если модели ещё нет, начните с базового гайда LM Studio. s7 s8

Для Windows x64 LM Studio требует процессор с AVX2 — поддержкой определённого набора команд. Разработчик рекомендует, но не объявляет минимумом для этой Qwen, 16 ГБ оперативной и 4 ГБ выделенной видеопамяти. Не выводите требования к RAM или VRAM из размера файла GGUF. s6

Как выбрать настройку для одной загрузки?

1. В Chat откройте выбор уже скачанной Qwen и параметры перед загрузкой. Запишите исходное значение Flash Attention, затем включите переключатель. В инструкции разработчика параметры загрузки можно изменить разово или сохранить для конкретной модели через My Models → шестерёнка; пока не сохраняйте новый default. s1 s7
2. Загрузите тот же файл и дождитесь поля ввода чата. Если появляется ошибка памяти или загрузки, верните исходное значение и повторите с прежними остальными параметрами. Не считайте ошибку доказательством отсутствия поддержки Flash Attention: причину нужно разбирать отдельно. s1 s7
3. Для маленькой проверки напишите: «Ответь одним предложением: где хранится моя книга, если я положил её на полку?» Сверьте ответ с условием: речь должна идти о полке. Это пример ввода, а не якобы полученный редакцией ответ модели. Работающий чат доказывает загрузку, но не ускорение. s7

Как увидеть значение у загруженного экземпляра?

Если вам нужен именно контроль параметра, а не только ответ чата, перейдите в Developer и включите Start server, оставив сервер доступным только на localhost (на своём компьютере). При отключённом требовании API-токена откройте на этом же компьютере адрес http://localhost:1234/api/v1/models (если порт сервера изменён, подставьте его фактическое локальное значение). Найдите точный файл Qwen, затем loaded_instances (запущенные экземпляры), config (их настройки) и flash_attention: true. Этот путь описан для API v1 LM Studio 0.4.0+; число 1234 соответствует адресу из документации. s2 s4 s5

Если loaded_instances пуст, вы смотрите установленную, но не загруженную модель. Если поля flash_attention нет, не считайте это ни true, ни false: в схеме оно необязательное и отсутствует у embedding-моделей (моделей для превращения текста в числовые векторы). Документация отдельно ограничивает действие этого параметра движком на базе llama.cpp; для другого движка не обещаем ту же проверку. Если сервер требует токен, не выключайте защиту ради этой статьи и не вставляйте секрет в URL: используйте доверенный клиент с разрешённым токеном по официальной инструкции или ограничьтесь проверкой загрузки в Chat. s2 s3 s5

Значение true в конфигурации показывает применённую настройку, а не выигрыш скорости или качество ответа. Для сравнения измеряйте на своём компьютере одинаковый запрос при одинаковой модели, длине контекста и остальных параметрах до и после переключения; Modelium этого эксперимента не проводил. Если параметр пригодился, сохраните его для этой модели по умолчанию, не меняя настройки других моделей. s1 s2 s3