Компьютер для локальной нейросети: ПК, ноутбук или Mac

Какой компьютер нужен для локальной нейросети?

Сначала сформулируйте результат: чат с короткими вопросами, обработка длинных документов или несколько одновременных пользователей предъявляют разные требования к модели и контексту. Затем выберите конкретный локальный вариант модели в маршруте выбора LLM и только после этого проверяйте компьютер. Для первого контрольного запуска официальный Quickstart Ollama приводит gemma4:e2b s6. Это пример локального тега, не гарантия качества для вашей задачи и не универсальное требование к железу.

Удобный порядок принятия решения: задача → точная модель и вариант весов → доступная память → поддерживаемый runtime → пробный запуск → проверяемый ответ. Если компьютера ещё нет, не превращайте рекламные рекомендации приложения в обязательные требования к каждой модели. Если устройство уже есть, сначала проверьте его, а не покупайте карту по размеру скачанного файла.

Что проверить на Windows или Linux перед выбором ПК?

1. Процессор и ОС. Если выбираете LM Studio на Windows, его документация поддерживает x64 и ARM; для x64 указывает необходимость AVX2. Для Linux приложение распространяется как AppImage, заявляет x64 и ARM64 и Ubuntu 20.04 или новее; документация предупреждает, что версии Ubuntu новее 22 проверены хуже s1. Это требования LM Studio, а не всех способов запуска локальных моделей. У llama.cpp отдельно документирована CPU-сборка; это альтернативный путь, когда подходящего GPU-backend нет s8.
2. GPU и драйвер. Для Ollama сверяйте конкретную модель устройства, ОС и драйвер с актуальной страницей поддержки: NVIDIA, AMD ROCm/Vulkan и Apple Metal описаны раздельно s4. Название производителя само по себе не доказывает совместимость. Для Windows LM Studio рекомендует GPU с не менее чем 4 ГБ выделенной VRAM, но это рекомендация для приложения, не минимальная VRAM для любой LLM s1.
3. Свободная RAM и VRAM. LM Studio рекомендует не менее 16 ГБ RAM на Windows; это ориентир разработчика приложения, не порог для каждого файла весов s1. Проверяйте память, остающуюся после ОС и рабочих программ. Если GPU не вмещает весь выбранный режим, Ollama может показать смешанное размещение CPU/GPU; это нужно увидеть в ollama ps, а не предполагать по спецификации видеокарты s5.

Для ноутбука добавьте практический контроль: повторите тест в том же режиме питания и с теми же одновременно работающими программами, в которых будете пользоваться моделью. Это редакционная методика для сравнимости условий, не заявление о скорости определённого ноутбука. Если нужен сервер для нескольких пользователей, одиночный ответ не проверяет одновременную нагрузку: Ollama отдельно описывает очереди запросов и память при параллельной работе s5.

Чем отличается маршрут для Mac?

Сначала проверьте приложение. Текущая страница системных требований обычного LM Studio указывает Apple Silicon, macOS 14 или новее и рекомендует 16 ГБ RAM; на Mac с 8 ГБ автор допускает меньшие модели и умеренный контекст. Intel Mac в этом приложении сейчас не поддерживается s1. Это нельзя превращать в утверждение, что вообще ни один runtime не работает на Intel Mac: вопрос следует проверять отдельно для выбранного инструмента.

Ollama документирует ускорение Apple GPU через Metal s4. Для вашего Mac путь тот же: точный локальный тег, имеющаяся память, подходящий runtime и пробный запуск; объём RAM из рекомендации LM Studio не является измеренным минимумом для Ollama или для каждой модели. Если выбираете LM Studio, его CLI даёт оценку ресурсов для уже скачанной модели с заданным контекстом и GPU-offload без самой загрузки s3. Не сравнивайте эту оценку с числом выделенной VRAM дискретной карты Windows как будто это один и тот же аппаратный показатель.

Почему нельзя выбрать компьютер только по размеру файла модели?

Файл весов — лишь одна часть памяти инференса. При работе модель сохраняет данные уже обработанных токенов в KV-кэше; документация Transformers описывает, как размер кэша растёт и какие способы экономии памяти имеют компромиссы s7. Кроме размещённых весов и кэша нужны рабочие буферы runtime и место для ОС. Планируйте без фиктивной точности:

свободная память = физическая память − занято ОС и другими программами
бюджет запуска ≈ размещённые веса + KV-кэш + буферы runtime + запас

Это качественная формула для планирования, не вычисленный минимум в гигабайтах: фактическое распределение между RAM и VRAM зависит от runtime, варианта модели, длины контекста и режима загрузки s5 s7. Более длинный документ, увеличение контекста и одновременные запросы меняют условия; у Ollama настройка длины контекста и правила параллельной загрузки описаны отдельно s5. Полезнее измерить конкретный сценарий, чем публиковать универсальную таблицу «N параметров → M ГБ».

Как проверить устройство до покупки нового железа?

Шаг 1 — определите задачу. Подготовьте несколько коротких и один типичный длинный запрос с известными вам правильными ответами. Для документов заранее определите, какие факты должны быть извлечены и что считать ошибкой. Это ваш тестовый набор, не независимый бенчмарк Modelium.

Шаг 2 — проверьте совместимость. На имеющемся Windows/Linux ПК или Mac сопоставьте GPU и backend со страницей Ollama s4. Если предпочитаете графический интерфейс, для обычного LM Studio отдельно проверьте системные требования вашей ОС s1. Не подменяйте локальный запуск облачной моделью: облачный ответ не доказывает совместимость устройства.

Шаг 3 — оцените вариант памяти, если используете LM Studio. Сначала найдите установленную локальную модель через lms ls; затем документация CLI позволяет запросить оценку без загрузки, учитывающую контекст и настройку GPU s3:

lms ls
lms load --estimate-only <model_key> --context-length 4096

Замените <model_key> на ключ уже скачанной модели из lms ls. 4096 здесь только пример конфигурации, не рекомендация для всех задач. Оценка не заменяет реальный запуск: сравните её со свободной памятью и затем проверьте результат. Для изменения доли выгрузки на GPU документация отдельно описывает --gpu со значениями off, max или долей от 0 до 1 s3.

Шаг 4 — выполните локальный контрольный запуск. После установки Ollama по инструкции Modelium официальный Quickstart предлагает s6:

ollama run gemma4:e2b

Приложение скачает модель и откроет чат на вашем компьютере; загрузка требует интернет-соединения и места на диске. Задайте подготовленные вопросы. Пока модель загружена, в другом терминале выполните ollama ps: PROCESSOR показывает 100% GPU, 100% CPU или смешанный режим s5. Выйдите из чата командой /bye s6. Запишите, удалось ли получить правильный результат и каково было размещение; GPU-режим не означает автоматически пригодное качество ответа.

Шаг 5 — повторите на рабочих условиях. Сравните короткий и длинный запрос, затем фактическое количество одновременных задач. Если вырос расход памяти, проверьте настройки контекста и другие открытые приложения; для Ollama длина контекста настраивается отдельно s5. Если ответ неправильный при достаточной памяти, менять видеокарту бессмысленно без проверки модели, инструкции и исходных данных. Это логика диагностики, не аппаратный тест Modelium.

Когда лучше выбрать другой путь?

• Старый Mac с Intel и желание использовать LM Studio. Обычный LM Studio не поддерживает этот класс Mac согласно текущим требованиям; изучите совместимость другого runtime, не обещая поддержку без проверки s1.
• GPU не обнаружен или режим CPU/GPU смешанный. Сверьте совместимость драйвера/backend в Ollama и занятость памяти; ollama ps покажет фактическое размещение, но не причину ошибки s4 s5. Подробная методика — проверка видеокарты для LLM.
• Большой документ не помещается. Сократите контекст только если это не отрежет нужные факты, либо выберите другой вариант модели; способы работы с KV-кэшем имеют компромиссы s7. После изменения снова проверьте качество на своём документе.
• Нужен другой backend. llama.cpp документирует CPU, Metal, CUDA, HIP и Vulkan как отдельные варианты сборки; выбор зависит от среды и не обещает ускорение без теста s8. Гайд llama.cpp поможет сопоставить формат и путь запуска.

Основной следующий шаг: откройте установку Ollama, выберите точный локальный тег и проверьте размещение вместе с ответом на собственной задаче. Сохраните ОС, модель, runtime, длину контекста, свободную память, вывод ollama ps и результат; это даст основание решать, достаточно ли текущего ПК, ноутбука или Mac, прежде чем менять оборудование s5 s6.