|
Вариант
|
Для чего рассматривать
|
Формат официальных весов
|
Главное ограничение
|
</tr><tr>
<td>
<p>GLM-5</p>
</td>
<td>
<p>исходная текстовая модель семейства</p>
</td>
<td>
<p>BF16 и отдельный FP8 checkpoint</p>
</td>
<td>
<p>200K-контекст и очень крупные серверные веса</p>
</td>
</tr><tr>
<td>
<p>GLM-5.2</p>
</td>
<td>
<p>текст, код и длинные задачи</p>
</td>
<td>
<p>BF16 и FP8</p>
</td>
<td>
<p>1M-контекст требует отдельного бюджета KV-кэша</p>
</td>
</tr><tr>
<td>
<p>GLM-5.3</p>
</td>
<td>
<p>актуальная текстовая post-training версия</p>
</td>
<td>
<p>FP8 по умолчанию, BF16 отдельно</p>
</td>
<td>
<p>собственная лицензия и multi-GPU инфраструктура</p>
</td>
</tr><tr>
<td>
<p>GLM-5.3-Flash</p>
</td>
<td>
<p>текст, изображения, видео, агенты</p>
</td>
<td>
<p>FP8 по умолчанию, BF16 отдельно</p>
</td>
<td>
<p>другая архитектура, серверный запуск и быстро меняющиеся версии runtime</p>
</td>
</tr></tbody>
</table>
<p>GLM-5.3 использует тот же базовый pretrained model, что и GLM-5.2; Z.ai связывает улучшения с post-training. Поэтому выбор между 5.2 и 5.3 — это не сравнение двух размеров модели, а выбор версии поведения, лицензии и совместимого стека <a href="#src-s1" rel="noopener noreferrer">s1</a> <a href="#src-s4" rel="noopener noreferrer">s4</a>.</p><p>GLM-5.3-Flash, напротив, начинается с заново обученной базовой модели. Z.ai называет её первой нативно мультимодальной моделью серии; конфигурация содержит vision encoder и токены для изображений и видео <a href="#src-s5" rel="noopener noreferrer">s5</a>. Если изображения и видео не нужны, Flash всё равно может быть практичнее основной 744B-ветки из-за меньшего объёма весов, но это нужно проверять на своей текстовой задаче, а не выводить из числа активных параметров.</p><p>Для обычного домашнего компьютера ни один официальный вариант не является удобной первой локальной моделью. Если цель — первый автономный чат, дешевле начать с меньшего семейства и вернуться к GLM-5 после того, как задача действительно требует её возможностей.</p><h2>Чем различаются лицензии</h2><p>У семейства нет одной общей лицензии. Код и документация главного GitHub-репозитория опубликованы под Apache 2.0, но лицензия репозитория кода не заменяет условия конкретных весов <a href="#src-s1" rel="noopener noreferrer">s1</a>.</p><ul><li>У исходной GLM-5 официальный model card содержит тег <code>license: mit</code> <a href="#src-s2" rel="noopener noreferrer">s2</a>.</li><li>В репозитории GLM-5.2 лежит отдельный текст MIT License <a href="#src-s3" rel="noopener noreferrer">s3</a>.</li><li>GLM-5.3 имеет собственную <code>GLM-5.3 License</code>, а не MIT <a href="#src-s4" rel="noopener noreferrer">s4</a>.</li><li>GLM-5.3-Flash опубликована с отдельным текстом MIT License <a href="#src-s5" rel="noopener noreferrer">s5</a>.</li></ul><p>Лицензия GLM-5.3 разрешает использование, копирование, изменение, распространение, сублицензирование, продажу, развёртывание и дообучение, но добавляет специальное условие для Model as a Service. Если лицензиат или связанные компании ведут MaaS-бизнес и их совокупная выручка превышает 10 млрд долларов за последовательные 12 месяцев, текст требует пройти security review Z.ai до коммерческого использования <a href="#src-s4" rel="noopener noreferrer">s4</a>. Это пересказ опубликованного условия, а не юридическая оценка.</p><p>Перед внедрением фиксируйте точный repository ID, SHA и файл лицензии. Фразы «GLM-5 открытая», «бесплатная» или «можно коммерчески» без названия checkpoint недостаточны: исходный код, веса и разные версии семейства имеют разные условия.</p><h2>Можно ли запустить GLM-5 локально</h2><p>Да, если под «локально» понимать собственный сервер или кластер, а не обязательно один пользовательский ПК. Z.ai перечисляет SGLang, vLLM, Transformers, KTransformers и Unsloth для текстовой ветки; для Flash также опубликованы отдельные инструкции runtime <a href="#src-s1" rel="noopener noreferrer">s1</a> <a href="#src-s4" rel="noopener noreferrer">s4</a> <a href="#src-s5" rel="noopener noreferrer">s5</a>.</p><p>Официальный recipe vLLM для GLM-5.3 использует native FP8 checkpoint, указывает профиль <code>893 GB</code> VRAM и проверенные конфигурации на восьми H200 или H20. Для BF16 указан multi-node путь <a href="#src-s6" rel="noopener noreferrer">s6</a>. Это не универсальные минимальные требования: числа относятся к конкретному recipe, версии runtime, KV-кэшу и параметрам запуска.</p><p>Для GLM-5.3-Flash recipe vLLM указывает около 306 GiB весов до накладных расходов runtime и KV-кэша, профиль <code>386 GB</code> VRAM для FP8 и <code>772 GB</code> для BF16 <a href="#src-s6" rel="noopener noreferrer">s6</a>. Размер файлов весов нельзя выдавать за минимальную память запуска: поверх весов нужны KV-кэш, буферы, CUDA graphs, vision encoder и запас под параллельные запросы.</p><p>SGLang публикует аппаратно-зависимый генератор команд для Flash, включая разные стратегии параллелизма и настройки reasoning, tool calling и multimodal input <a href="#src-s7" rel="noopener noreferrer">s7</a>. Такой генератор безопаснее универсальной команды из статьи: совместимые флаги меняются быстрее, чем название модели.</p><h2>Как запустить через vLLM</h2><p>Ниже — сокращённый пример из закреплённого recipe vLLM для GLM-5.3 FP8 на восьми GPU. Modelium его не запускал <a href="#src-s6" rel="noopener noreferrer">s6</a>:</p><p>vllm serve zai-org/GLM-5.3 \<br /> --kv-cache-dtype fp8 \<br /> --tensor-parallel-size 8 \<br /> --speculative-config.method mtp \<br /> --speculative-config.num_speculative_tokens 5 \<br /> --tool-call-parser glm47 \<br /> --reasoning-parser glm47 \<br /> --enable-auto-tool-choice \<br /> --served-model-name glm-5.3<br /></p><p>Для GLM-5.3-Flash официальный recipe использует другой model ID и пример с tensor parallelism на четырёх GPU <a href="#src-s6" rel="noopener noreferrer">s6</a>:</p><p>vllm serve zai-org/GLM-5.3-Flash \<br /> --tensor-parallel-size 4 \<br /> --kv-cache-dtype fp8 \<br /> --speculative-config '{"method":"mtp","num_speculative_tokens":5}' \<br /> --tool-call-parser glm47 \<br /> --reasoning-parser glm47 \<br /> --enable-auto-tool-choice \<br /> --served-model-name zai-org/GLM-5.3-Flash<br /></p><p>На дату проверки metadata recipes указывает vLLM 0.29.0 как минимальную версию, а для Flash — nightly image <a href="#src-s6" rel="noopener noreferrer">s6</a>. Не копируйте команду без проверки текущего recipe: поддержка NVIDIA, AMD и Ascend использует разные images, backends и ограничения.</p><p>Transformers нативно описывает классы для GLM-5, 5.1, 5.2 и 5.3, но документация предупреждает, что реализация не включает MTP layer <a href="#src-s8" rel="noopener noreferrer">s8</a>. Это означает, что загрузка модели через Transformers и серверный recipe с MTP — не одинаковые режимы; нельзя механически переносить все флаги и ожидать ту же производительность.</p><h2>Как оценить память без ложного минимума</h2><p>Разделяйте четыре величины:</p><ol><li>размер файлов checkpoint на диске;</li><li>память, которую runtime занимает только под веса;</li><li>KV-кэш для выбранного контекста и числа одновременных последовательностей;</li><li>дополнительные буферы, графы, vision encoder и служебные структуры.</li></ol><p>Число активных параметров MoE тоже не определяет объём памяти. <code>A40B</code> или <code>A18B</code> говорит, сколько параметров участвует в обработке токена, но полный набор экспертов всё равно должен быть доступен runtime — в GPU, RAM или через поддерживаемый offload.</p><p>Практический порядок: сначала выберите точный checkpoint и закрепите SHA, затем возьмите официальный recipe для вашего ускорителя, уменьшите контекст и concurrency для первого запуска, проверьте запас памяти и только после этого увеличивайте нагрузку. Если требуется CPU-offload или сторонняя 4-битная конвертация, считайте её отдельным вариантом с собственной ревизией и лицензией, а не официальной GLM-5 «вообще».</p><h2>Как проверить результат</h2><p>Успешный старт API доказывает только загрузку модели. Для проверки подготовьте один небольшой набор задач:</p><ol><li>русский запрос с проверяемым ответом;</li><li>фрагмент кода с тестом или ожидаемым diff;</li><li>structured output со схемой и внешней валидацией JSON;</li><li>tool call с проверкой имени функции и аргументов;</li><li>изображение или короткое видео — только для Flash;</li><li>длинный документ с контрольными фактами, начиная с небольшого контекста.</li></ol><p>Сохраняйте checkpoint SHA, runtime и его commit/version, контейнер, число GPU, precision, tensor/expert parallelism, длину контекста, concurrency и параметры генерации. Без этого результат нельзя воспроизвести или честно сравнить с Qwen, DeepSeek либо другой версией GLM.</p><h2>Когда GLM-5 не подходит</h2><p>Не выбирайте GLM-5, если задача помещается в меньшую модель, сервер должен работать на одной потребительской видеокарте или команда не готова сопровождать быстро меняющийся distributed runtime. Большое окно контекста не заменяет retrieval, проверку фактов и тест на собственных документах.</p><p>Сравнивать GLM-5 с Qwen нужно на одинаковой задаче, сопоставимом precision и реальном инфраструктурном бюджете. Следующий шаг — открыть карточку Qwen 3.8 и сопоставить доступные размеры, лицензию и путь запуска, не объявляя победителя только по таблице производителя.</p>
