|
Задача и устройство
|
Кандидат для проверки
|
Runtime и маршрут
|
Что должно подтвердиться
|
</tr><tr>
<td>
<p>Первый текстовый помощник на ноутбуке без известного бюджета памяти</p>
</td>
<td>
<p>Начните с малого варианта из <a href="/zhurnal/gemma-4/" rel="noopener noreferrer">карточки Gemma 4</a>, а не с самой большой модели</p>
</td>
<td>
<p><a href="/zapusk/ollama/" rel="noopener noreferrer">Ollama</a> или <a href="/zhurnal/lm-studio/" rel="noopener noreferrer">LM Studio</a>; сначала короткий контекст</p>
</td>
<td>
<p>Веса запускаются локально, ответ выполняет простой заранее заданный тест</p>
</td>
</tr><tr>
<td>
<p>Текст и изображение на рабочей станции с запасом памяти</p>
</td>
<td>
<p><code>qwen3.8:27b</code>: библиотека Ollama указывает 18 ГБ загрузки и вход Text, Image <a href="#src-s7" rel="noopener noreferrer">s7</a></p>
</td>
<td>
<p><a href="/modeli/qwen/qwen3-8/" rel="noopener noreferrer">Карточка Qwen 3.8</a> → <a href="/zapusk/ollama/" rel="noopener noreferrer">Ollama</a></p>
</td>
<td>
<p>Ваша фактическая машина выдерживает модель и нужный контекст; ответы проверены на тестовых изображениях</p>
</td>
</tr><tr>
<td>
<p>Текст, код или прототип с инструментами при достаточной памяти</p>
</td>
<td>
<p><code>gpt-oss:20b</code>: в библиотеке Ollama локальный тег занимает 14 ГБ на диске <a href="#src-s8" rel="noopener noreferrer">s8</a></p>
</td>
<td>
<p><a href="/zhurnal/gpt-oss-20b-120b/" rel="noopener noreferrer">Карточка gpt-oss</a> → <a href="/zapusk/ollama/" rel="noopener noreferrer">Ollama</a></p>
</td>
<td>
<p>Код проходит тесты, JSON валидируется извне, инструмент вызван и вернул результат</p>
</td>
</tr><tr>
<td>
<p>Несколько пользователей и серверный API</p>
</td>
<td>
<p>Выбирайте конкретную модель только после расчёта параллельных запросов и памяти</p>
</td>
<td>
<p><a href="/zhurnal/vllm/" rel="noopener noreferrer">vLLM</a> и его список поддерживаемых моделей</p>
</td>
<td>
<p>Стабильны задержка, лимит контекста, обработка ошибок и повторяемость ответов</p>
</td>
</tr><tr>
<td>
<p>Документы или первичка</p>
</td>
<td>
<p>Выберите отдельный OCR/извлечение текста, затем LLM для структурирования, если она действительно нужна</p>
</td>
<td>
<p><a href="/zadachi/raspoznavanie-dokumentov-1s/" rel="noopener noreferrer">Задача документов для 1С</a> → runtime подходящей модели</p>
</td>
<td>
<p>Поля сверены с эталоном, у ошибочных ответов виден исходный документ</p>
</td>
</tr></tbody>
</table>
<p>Это <strong>кандидаты для испытания, а не победители рейтинга</strong>. Строка библиотеки про 18 или 14 ГБ говорит о загрузке, не о минимальной RAM/VRAM; для контекста, параллельности и работы runtime нужна дополнительная память <a href="#src-s3" rel="noopener noreferrer">s3</a> <a href="#src-s7" rel="noopener noreferrer">s7</a> <a href="#src-s8" rel="noopener noreferrer">s8</a>. Размеры версий и точные теги могут поменяться: перед установкой перепроверьте библиотеку.</p><h2>Сколько памяти и как проверить видеокарту</h2><p>Сначала запишите ОС, модель GPU, объём доступной VRAM и RAM, свободное место на диске и требуемую длину контекста. Сверяйте <strong>конкретный GPU</strong> с документацией runtime: Ollama отдельно описывает совместимость NVIDIA, AMD, Apple Metal и Vulkan; наличие видеокарты известного бренда не является гарантией ускорения <a href="#src-s2" rel="noopener noreferrer">s2</a>. На Apple Silicon смотрите объединённую память, на дискретной GPU — фактическую свободную VRAM.</p><p>Файлы весов, KV-кэш для контекста, рабочие буферы и другие процессы используют разные объёмы памяти. Документация Ollama прямо связывает потребность в памяти с длиной контекста и числом параллельных запросов <a href="#src-s3" rel="noopener noreferrer">s3</a>. Поэтому не умножайте размер GGUF-файла на произвольный коэффициент и не называйте сумму файлов «минимальными требованиями».</p><p>После запуска выполните <code>ollama ps</code>: колонка <code>PROCESSOR</code> показывает, размещена ли модель на CPU, GPU или частично на обоих <a href="#src-s3" rel="noopener noreferrer">s3</a>. Замерьте системным монитором пик RAM/VRAM и задержку на <strong>вашей</strong> длине контекста. Если модель уходит на CPU и задержка не подходит — сначала сократите контекст или выберите меньший вариант; покупку железа отложите до измерения.</p><h2>Где искать веса и что проверить перед загрузкой</h2><p>У конкретной модели проверьте официального автора, назначение checkpoint, формат, квантизацию, шаблон чата и лицензию. Hugging Face описывает GGUF как формат весов <strong>вместе с метаданными</strong> и показывает совместимость с llama.cpp, LM Studio и Ollama <a href="#src-s5" rel="noopener noreferrer">s5</a>. Но одна метка GGUF не доказывает поддержку данной архитектуры вашим текущим runtime. Если инструкция модели требует особого шаблона или parser для tool calling, сверяйте его с документацией выбранного инструмента.</p><p>Метаданные Hugging Face позволяют указать лицензию репозитория, но сама метка не заменяет чтение полного текста условий <a href="#src-s6" rel="noopener noreferrer">s6</a>. «Открыты веса», «открыт код», «бесплатно» и «разрешено коммерческое использование» — разные проверки. Для проекта организации запишите ревизию checkpoint, авторский репозиторий, условия лицензии и ограничения передачи данных до пилота; юридическое решение по одной статье не принимайте.</p><p>Не скачивайте тег с <code>-cloud</code>, если вам нужен запуск полностью на своей машине: в библиотеке gpt-oss локальные теги <code>:20b</code> и <code>:120b</code> соседствуют с <code>:20b-cloud</code> и <code>:120b-cloud</code> <a href="#src-s8" rel="noopener noreferrer">s8</a>. В LM Studio явно выбирайте Local вместо Cloud или Remote, если цель — инференс именно на текущем устройстве <a href="#src-s4" rel="noopener noreferrer">s4</a>.</p><h2>Как получить первый проверяемый результат</h2><ol><li>Выберите <strong>одну</strong> строку маршрута выше и откройте карточку модели. Проверьте имя автора, назначение, лицензию, размер файла и совместимый runtime.</li><li>Установите runtime из официального источника. Ollama документирует macOS, Windows и Linux <a href="#src-s1" rel="noopener noreferrer">s1</a>; при выборе графического пути LM Studio проверьте режим модели в селекторе <a href="#src-s4" rel="noopener noreferrer">s4</a>.</li><li>Если ваша машина подходит для <code>gpt-oss:20b</code> по реальной памяти, выполните <code>ollama run gpt-oss:20b</code> — этот локальный тег указан в официальной библиотеке <a href="#src-s8" rel="noopener noreferrer">s8</a>. Для иной конфигурации выберите меньшую совместимую модель из карточки; не запускайте 20B только потому, что команда приведена здесь.</li><li>Задайте небольшой тест с известным ответом. Для извлечения попросите вернуть два поля из вымышленного текста и проверьте точное совпадение; для кода — запустите тесты. Не загружайте настоящие персональные данные до проверки локальности и правил доступа.</li><li>Посмотрите <code>ollama ps</code> и монитор памяти. Запишите модель/тег, версию runtime, ОС, GPU, RAM/VRAM, настройки контекста, тест и результат <a href="#src-s3" rel="noopener noreferrer">s3</a>. Повторите на нескольких примерах и исправьте ошибки до перехода к большим моделям.</li></ol><p>Если модель не загружается, сначала проверьте свободную память, GPU-драйвер и backend из документации Ollama <a href="#src-s2" rel="noopener noreferrer">s2</a>. Если ответ есть, но не проходит контрольный набор, проверьте формат подсказки, размер контекста, парсинг ответа и соответствие задачи возможностям модели. Больший checkpoint не лечит автоматически неверный шаблон чата или плохие входные данные.</p><p><strong>Следующий шаг:</strong> откройте <a href="/zapusk/ollama/" rel="noopener noreferrer">гайд по Ollama</a>, выберите один локальный тег под своё устройство и зафиксируйте фактическое размещение и контрольный результат. Для первого опыта без терминала используйте связанный выше маршрут LM Studio; не смешивайте облачные и локальные результаты в одной оценке.</p>
