gpt-oss 20B и 120B: выбор и локальный запуск

  </tr><tr>
    <td>
    <p>gpt-oss-20b</p>
  </td>
<td>
    <p>локальный помощник, код, структурированный ответ, первый agent-прототип</p>
  </td>
<td>
    <p>13,76 ГБ</p>
  </td>
<td>
    <p>нужно проверить реальную память, скорость и качество на своём устройстве</p>
  </td>

  </tr><tr>
    <td>
    <p>gpt-oss-120b</p>
  </td>
<td>
    <p>workstation или сервер, когда 20B не проходит контрольный набор</p>
  </td>
<td>
    <p>65,25 ГБ</p>
  </td>
<td>
    <p>тяжёлый запуск, большой KV-кэш и более дорогая инфраструктура</p>
  </td>

  </tr></tbody>
    </table>
  <p>Размеры получены суммированием <code>.safetensors</code> в закреплённых официальных репозиториях: 13 761 316 904 байта для 20B и 65 248 893 184 байта для 120B <a href="#src-s3" rel="noopener noreferrer">s3</a> <a href="#src-s4" rel="noopener noreferrer">s4</a>. Это объём файлов весов, а не минимальная RAM или VRAM.</p><h2>Как выбрать между 20B и 120B</h2><p>Начинайте с 20B, если ещё нет воспроизводимого теста, доказывающего пользу 120B. Меньшая модель быстрее скачивается, проще помещается на массовой рабочей станции и дешевле проверяется в нескольких runtime. Она подходит как первый кандидат для локального чата, помощи с кодом, классификации, генерации JSON и прототипа с инструментами — но только после проверки каждого нужного режима <a href="#src-s2" rel="noopener noreferrer">s2</a>.</p><p>Переходить к 120B имеет смысл, когда одновременно выполнены три условия:</p><ol><li>один и тот же контрольный набор показывает заметный и повторяемый выигрыш относительно 20B;</li><li>workstation или сервер выдерживает веса, KV-кэш, служебные буферы и нужную длину контекста;</li><li>выигрыш оправдывает рост задержки, энергопотребления и сложности эксплуатации.</li></ol><p>OpenAI пишет, что MXFP4-версия 20B может работать на системе с 16 ГБ памяти, а 120B — на одном GPU с 80 ГБ памяти <a href="#src-s1" rel="noopener noreferrer">s1</a> <a href="#src-s2" rel="noopener noreferrer">s2</a>. В отдельном руководстве для Ollama автор рекомендует для 20B не менее 16 ГБ VRAM или unified memory, а для 120B — не менее 60 ГБ <a href="#src-s5" rel="noopener noreferrer">s5</a>. Эти числа относятся к разным реализациям и формулировкам автора; это не универсальные минимальные требования. Доступный контекст, offload, версия runtime и параллельные запросы меняют фактическое потребление памяти.</p><h2>Почему файл модели не равен RAM или VRAM</h2><p>В официальной библиотеке Ollama тег <code>gpt-oss:20b</code> указан как 14 ГБ, а <code>gpt-oss:120b</code> — как 65 ГБ <a href="#src-s6" rel="noopener noreferrer">s6</a>. Это близко к сумме файлов Hugging Face, но запуск добавляет KV-кэш, runtime, буферы, графы и память процесса. Часть данных может размещаться в системной RAM, часть — в VRAM или unified memory; CPU-offload снижает требования к VRAM, но обычно увеличивает задержку <a href="#src-s5" rel="noopener noreferrer">s5</a>.</p><p>Контекст тоже нельзя считать бесплатным. Конфигурации обеих моделей задают <code>max_position_embeddings: 131072</code>, а Ollama показывает окно 128K <a href="#src-s3" rel="noopener noreferrer">s3</a> <a href="#src-s4" rel="noopener noreferrer">s4</a> <a href="#src-s6" rel="noopener noreferrer">s6</a>. Это архитектурный предел конфигурации, не обещание, что любой компьютер обработает 128 тысяч токенов с приемлемой скоростью. Чем длиннее фактический контекст и больше одновременных запросов, тем больше KV-кэш.</p><p>Практический порядок проверки:</p><ul><li>сначала запустите короткий запрос и небольшой контекст;</li><li>посмотрите фактическое размещение CPU/GPU и пиковую память;</li><li>увеличивайте контекст поэтапно;</li><li>повторите измерение с реальным документом или кодовой базой;</li><li>не переносите цифры с чужой видеокарты на свою конфигурацию без проверки.</li></ul><h2>Зачем модели нужен Harmony format</h2><p>Обе модели обучались с форматом диалога Harmony. OpenAI предупреждает, что без него модель может работать некорректно: формат разделяет роли, reasoning, вызовы инструментов и финальный ответ <a href="#src-s2" rel="noopener noreferrer">s2</a>. При прямой работе через Transformers нужно использовать официальный chat template или библиотеку <code>openai-harmony</code>; собственная склейка строк может сломать роли и tool calls.</p><p>Ollama применяет совместимый chat template автоматически <a href="#src-s5" rel="noopener noreferrer">s5</a>. Это делает его удобным для первого запуска, но не отменяет проверку клиентского приложения. Если интерфейс повторно форматирует сообщения, выбрасывает служебные поля или не возвращает reasoning-контекст в следующий шаг инструмента, agent-цикл может вести себя иначе, чем в примере автора.</p><p>Отдельно не показывайте пользователям необработанную цепочку рассуждений. Карточка модели предупреждает, что она может содержать галлюцинации и формулировки, не соответствующие обычным политикам продукта; разработчику нужны фильтрация, модерация или безопасное резюме <a href="#src-s1" rel="noopener noreferrer">s1</a>.</p><h2>Для каких задач gpt-oss подходит</h2><p>OpenAI заявляет для семейства регулируемый reasoning effort, function calling, Structured Outputs, работу с браузером и Python-инструментом <a href="#src-s2" rel="noopener noreferrer">s2</a>. Это список возможностей модели и эталонных реализаций, а не гарантия каждого локального стека. Фактический результат зависит от checkpoint, Harmony-шаблона, parser runtime, API и клиента.</p><p>Разумные первые сценарии:</p><ul><li>код с автоматическими тестами;</li><li>извлечение данных в JSON с внешней JSON Schema-валидацией;</li><li>локальный помощник по закрытым документам после добавления retrieval-слоя;</li><li>agent-прототип с одним безопасным инструментом;</li><li>сравнение low, medium и high reasoning effort на одинаковых задачах.</li></ul><p>Модель не получает встроенный доступ к интернету, файловой системе или Python только из-за названия возможности. Инструмент должен реализовать ваш runtime или приложение, передать модели схему, безопасно выполнить вызов и вернуть результат. Референсные browser- и Python-инструменты в репозитории OpenAI описаны как примеры, а не готовая production-песочница <a href="#src-s2" rel="noopener noreferrer">s2</a>.</p><h2>Как запустить gpt-oss 20B через Ollama</h2><p>Для первого теста установите Ollama и загрузите конкретный официальный тег:</p><p>ollama pull gpt-oss:20b<br />ollama run gpt-oss:20b<br /></p><p>Команды опубликованы в официальном репозитории OpenAI и в руководстве Cookbook <a href="#src-s2" rel="noopener noreferrer">s2</a> <a href="#src-s5" rel="noopener noreferrer">s5</a>. Для 120B используется <code>gpt-oss:120b</code>, но скачивание модели до доказанной необходимости создаёт большой лишний расход диска и времени.</p><p>После запуска не ограничивайтесь вопросом «ответила ли модель». Проверьте связку целиком:</p><ol><li>сохраните версию Ollama и точный digest модели;</li><li>задайте одинаковый reasoning effort и параметры генерации;</li><li>прогоните известные ответы на русском языке;</li><li>проверьте JSON внешним валидатором;</li><li>для кода запустите тесты;</li><li>для tool calling проверьте структуру аргументов, выполнение и финальный ответ;</li><li>запишите задержку, пиковую RAM/VRAM и длину контекста.</li></ol><p>Ollama предоставляет Chat Completions-совместимый локальный API; пример OpenAI Cookbook использует <code>http://localhost:11434/v1</code> <a href="#src-s5" rel="noopener noreferrer">s5</a>. Совместимость API не означает полной эквивалентности облачному OpenAI API: проверяйте нужные endpoints и поля отдельно.</p><h2>Когда нужен другой runtime</h2><p>LM Studio удобнее, если нужен графический интерфейс для скачивания и первого диалога. OpenAI публикует команды <code>lms get</code> для обоих вариантов, но поддержка конкретного формата и backend должна сверяться с текущей версией приложения <a href="#src-s2" rel="noopener noreferrer">s2</a>.</p><p>vLLM уместнее для серверного OpenAI-совместимого endpoint, нескольких GPU и управляемой параллельности. Официальный репозиторий показывает запуск gpt-oss через vLLM, однако приведённые версии пакетов и wheels относятся к состоянию документации на закреплённой ревизии <a href="#src-s2" rel="noopener noreferrer">s2</a>. Перед production-развёртыванием сверяйте актуальную документацию runtime и не копируйте старый install-командный блок вслепую.</p><p>Референсные PyTorch, Triton и Metal-реализации OpenAI нужны прежде всего для изучения архитектуры и интеграции. Сам репозиторий предупреждает, что базовая PyTorch-реализация не оптимизирована для production, а Metal-вариант не считается production-ready <a href="#src-s2" rel="noopener noreferrer">s2</a>. Для обычного локального старта Ollama или LM Studio проще; для сервера — специализированный serving runtime.</p><h2>Какая лицензия действует</h2><p>Репозиторий и веса gpt-oss опубликованы под Apache License 2.0 <a href="#src-s2" rel="noopener noreferrer">s2</a> <a href="#src-s7" rel="noopener noreferrer">s7</a>. Лицензия разрешает использование, изменение и распространение при соблюдении её условий, включая сохранение требуемых уведомлений. Это не юридическое заключение: перед распространением производной модели или встраиванием в продукт прочитайте полный текст лицензии и проверьте свои обязательства.</p><p>Отдельный файл Usage Policy для gpt-oss требует соблюдать применимое законодательство <a href="#src-s8" rel="noopener noreferrer">s8</a>. Наличие открытых весов и разрешительной лицензии не снимает требований к данным, безопасности, правам пользователей и эксплуатации конкретного приложения.</p><h2>Как проверить, что выбран правильный размер</h2><p>Соберите небольшой контрольный набор до скачивания 120B:</p><ul><li>10–20 русскоязычных вопросов с проверяемыми ответами;</li><li>несколько задач по коду с тестами;</li><li>документы с заранее известными фактами;</li><li>JSON Schema и набор допустимых/недопустимых ответов;</li><li>один безопасный tool call с фиксированной схемой;</li><li>длинный запрос для проверки нужного, а не максимального контекста.</li></ul><p>Сравнивайте 20B и 120B при одинаковых входах, reasoning effort, шаблоне, sampling и критерии успеха. Отдельно фиксируйте версию runtime, digest весов и длину контекста: иначе различие результатов нельзя уверенно приписать размеру модели. Benchmark-таблицы OpenAI полезны как заявление автора о тестовой конфигурации, но не доказывают качество на русском языке, ваших документах или кодовой базе <a href="#src-s1" rel="noopener noreferrer">s1</a>.</p><p>Если 20B проходит критерий качества, остаётся в лимите задержки и помещается на доступной машине, переход к 120B не нужен. Если не проходит — сначала убедитесь, что проблема не в Harmony-шаблоне, parser, квантизации, слишком длинном контексте или клиенте. Только после этого сравнивайте 120B на том же наборе.</p><p>Следующий шаг — открыть руководство Ollama, запустить <code>gpt-oss:20b</code> и зафиксировать реальную память, скорость и качество на своих данных. Повторите тест после каждого обновления runtime.</p>