Видеокарта для ИИ: как оценить память для локальной LLM

Как понять, нужна ли вам видеокарта для локальной LLM?

Если задача — чат, работа с собственными документами или локальный API, сперва определите модель, вариант её весов и длину типичного запроса, затем выбирайте аппаратный путь. Начать маршрут выбора можно со страницы локальных LLM; отдельные варианты семейства показаны в карточке Gemma 4. Ollama предлагает локальный запуск конкретного тега gemma4:e2b, который библиотека относит к edge-вариантам; облачные теги в этой библиотеке обозначены отдельно s1 s8. Это кандидат для проверки, а не обещание качества или совместимости с каждой машиной.

Для локального GPU-запуска важна не только ёмкость памяти. Сначала проверьте, поддерживает ли runtime именно вашу модель GPU, драйвер, ОС и backend: Ollama отдельно описывает NVIDIA, AMD и Apple Metal, а для AMD условия различаются по backend и системе s3. Если совместимого ускорения нет, надпись на коробке видеокарты ничего не решает. Работа на CPU может быть возможным запасным путём, но измерений скорости Modelium не проводил.

Почему размер файла весов не равен требуемой VRAM?

GGUF хранит тензоры модели и метаданные s7. Размер скачанного файла — полезный ориентир по объёму весов на диске, но не готовый ответ «поместится ли модель в видеопамять». Во время генерации runtime хранит также ключи и значения уже обработанных токенов — KV-кэш. В документации Hugging Face отмечено, что при длинном контексте его расход памяти может стать существенным; способы сэкономить память кэша меняют режим работы и могут влиять на задержку s5. Отдельно нужны рабочие буферы runtime и место для других процессов.

Для планирования используйте не универсальную таблицу гигабайт, а явные части бюджета:

свободная VRAM = общая VRAM − уже занятая память
бюджет на GPU ≈ размещённые на GPU веса + KV-кэш на GPU + буферы runtime + запас

Это оценка, не калькулятор точного минимума: фактическое размещение зависит от модели, кванта, длины контекста, backend и режима загрузки s4 s5. Если часть слоёв перенести на CPU, VRAM может хватить, но понадобится системная RAM; это не означает прежнюю скорость. В llama.cpp параметр --n-gpu-layers управляет числом слоёв в VRAM, а --ctx-size задаёт размер контекста; предусмотрены настройки типов KV-кэша s4. Нет честного вывода «файл весит X, значит достаточно X ГБ VRAM».

Как проверить свою конфигурацию до покупки или смены модели?

1. Запишите задачу и критерий. Например, подготовьте несколько собственных вопросов с проверяемыми ответами и длиной текста, похожей на реальную работу. Качество ответов оценивайте на них, а не по объявленному размеру модели. Это редакционная методика, не результат теста Modelium.
2. Выберите реальный тег и runtime. Для первого локального прогона документация Ollama приводит ollama run gemma4:e2b s1. Перед загрузкой убедитесь, что это локальный, а не облачный вариант: в библиотеке Gemma 4 оба типа помечены раздельно s8. Если нужна другая модель, берите точный тег из её карточки, не приравнивая разные кванты и версии.
3. Проверьте исходную свободную память. На поддерживаемом NVIDIA-устройстве nvidia-smi показывает состояние GPU и занятый объём памяти s6. Зафиксируйте использование памяти до запуска и во время контрольной задачи; другие приложения меняют доступный бюджет. Для AMD и Apple не переносите результат команды NVIDIA: проверяйте условия своего backend в документации runtime s3.
4. Запустите и посмотрите размещение. После установки Ollama по проверенной инструкции Modelium в терминале выполните команду из Quickstart s1:
   ollama run gemma4:e2b
   
   Дайте модели контрольный запрос; затем в другом терминале выполните ollama ps. Документация расшифровывает столбец PROCESSOR: 100% GPU означает полную загрузку на GPU, 100% CPU — в системную память, а доли CPU/GPU — смешанное размещение s2. Завершите чат командой /bye s1. Полный GPU-режим сам по себе не доказывает, что ответы подходят задаче.
5. Сравните с фактической работой. Повторите тест при нужной длине входа и числе одновременно используемых приложений. Если модель ушла на CPU, снизьте длину контекста там, где это допустимо, или выберите меньший совместимый вариант. Если нужен управляемый перенос слоёв и настройка кэша, рассмотрите llama.cpp: его CLI документирует --ctx-size, --n-gpu-layers и типы KV-кэша s4. После изменения условий снова измерьте размещение и проверьте результат задачи.

Не путайте загрузку и качество. ollama ps отвечает на вопрос о размещении, а не о точности, безопасности или лицензии модели s2. Критерий результата устанавливайте отдельно на собственных данных.

Когда карта с большим объёмом памяти всё равно не решит задачу?

• Несовместимость backend. У Ollama поддержка NVIDIA, AMD и Apple Metal описана отдельно; наличие GPU в системе ещё не гарантирует ускорение выбранным драйвером и runtime s3.
• Длинный контекст или параллельные сессии. KV-кэш может стать значимой частью расхода памяти при длинном контексте s5. Ollama сообщает, что одновременная загрузка моделей и параллельная обработка запросов требуют достаточной доступной RAM или VRAM s2. Проверяйте именно тот сценарий, который собираетесь использовать.
• Несопоставимые форматы и кванты. GGUF — формат тензоров и метаданных, а llama.cpp даёт ручное управление числом слоёв на GPU s7 s4. Сравнивать размер произвольного GGUF с размером другого варианта и выводить точный порог VRAM нельзя.
• Несколько GPU. В CLI llama.cpp есть отдельные режимы разделения слоёв и тензоров между картами; это не основание автоматически считать сумму памяти двух карт единым беспрепятственным пулом s4. Проверьте выбранный режим запуском.
• Облачный тег вместо локального. Библиотека Gemma 4 различает локальные и облачные команды s8. Выбор облачного тега не проверяет вашу видеокарту и не подтверждает локальность данных.

Что делать, если проверка не удалась?

Ожидали GPU, но ollama ps показывает CPU. Сначала посмотрите страницу совместимости Ollama для своей ОС и GPU: разделы NVIDIA, AMD и Apple Metal различаются s3. Не покупайте новую карту только из-за этого вывода: причиной может оказаться неподдерживаемое сочетание устройства, драйвера и backend. Сверьте конкретную конфигурацию с документацией, устраните несовместимость и повторите контрольный запуск. Если смешанный режим CPU/GPU появляется после загрузки модели, проверьте исходную занятую память другими приложениями; для NVIDIA это видно через nvidia-smi s2 s6.

Модель стартует, но на длинном документе не хватает памяти. Сократите тестовый контекст до действительно необходимого и повторите запуск, сохранив этот параметр в протоколе. Это не «улучшение модели», а изменение условий задачи: при коротком контексте часть документа может не попасть в обработку. Расход KV-кэша и варианты его размещения описаны отдельно в документации Hugging Face s5. В llama.cpp соответствующие параметры --ctx-size и --cache-type-k/--cache-type-v видны в CLI; без проверки на своей модели нельзя утверждать, какой вариант лучше s4.

Видеопамяти всё равно не хватает. Сравните более компактный вариант той же задачи или допускайте размещение части слоёв на CPU через настройки llama.cpp; настройка --n-gpu-layers существует именно для контроля размещения s4. Это обмен ограничений памяти на другой режим выполнения, а не обещание той же скорости или качества. Перед рабочим применением повторите контрольный набор вопросов и измерьте время ответа. Если нужна высокая одновременная нагрузка, тест с одним запросом не отражает серверный сценарий: Ollama отдельно оговаривает условия для одновременной загрузки моделей и параллельных запросов s2.

Увидели облачный ответ вместо локального. Проверьте точное имя тега: в библиотеке Gemma 4 локальные команды и варианты с суффиксом -cloud показаны раздельно s8. Облачный результат нельзя считать доказательством совместимости видеокарты и соблюдения локального контура.

Как зафиксировать результат проверки?

Сохраните название GPU и используемого backend, версию runtime, точный тег/файл модели, выбранный контекст, список одновременно работающих приложений, показания свободной/занятой памяти до и при выполнении задачи, столбец PROCESSOR из ollama ps, наблюдаемую скорость и правильность ответов на своём наборе s2 s3 s6. Это протокол для вашей конфигурации, а не опубликованный тест Modelium. Если параметры меняются, проверку нужно повторить.

Основной следующий шаг: откройте гайд по Ollama, установите runtime и проведите описанный контрольный запуск. Только после наблюдения размещения и результата имеет смысл решать, менять ли модель, длину контекста или видеокарту.