# MoE: активные параметры и память при локальном запуске

Источник: https://modelium.tech/zhurnal/moe-chto-eto/

MoE (mixture of experts) — архитектура, в которой маршрутизатор направляет токен к части экспертных блоков модели. Число активных параметров описывает объём вычислений для токена, но не заменяет общий объём весов, который нужно разместить для локального запуска. Сверяйте конкретную ревизию, формат и квант, затем проверяйте реальное размещение модели в выбранном runtime.

Проверено 1 октября 2026 года по закреплённым ревизиям Qwen и Transformers v4.57.1, а также документации Ollama. Собственного локального запуска и замеров Modelium для этого материала нет.

## Что такое MoE и кого называют экспертами?

**Mixture of experts (MoE)** — архитектура с несколькими экспертными блоками и механизмом выбора: для токена маршрутизатор включает часть экспертов, а не все одновременно. «Эксперт» здесь — часть нейросети, а не отдельный человек или непременно отдельная модель. У Mixtral в документации Transformers описаны восемь экспертов в экспертном слое и выбор двух для обработки токена [s5](#src-s5). У других архитектур числа и правила маршрутизации отличаются: не переносите настройки Mixtral на Qwen.

На конкретном примере Qwen3-30B-A3B карточка автора указывает **30,5 млрд параметров всего и 3,3 млрд активных** при обработке токена; это сведения разработчика, не измерение Modelium [s1](#src-s1). Закреплённый `config.json` задаёт `num_experts: 128` и `num_experts_per_tok: 8` [s2](#src-s2). «Активные» описывает выбранный вычислительный путь, а не отдельный файл с 3,3 млрд параметров. Разные токены могут обратиться к разным экспертам; 128 и 8 нельзя перемножать в готовое правило расчёта памяти [s2](#src-s2) [s5](#src-s5).

## Значит ли A3B, что достаточно памяти как для модели 3B?

**Нет.** Выбор части экспертов снижает объём вычисления отдельных экспертных блоков для токена, но веса остальных экспертов остаются частью модели; документация Mixtral прямо отличает вычисление активного пути от размещения весов экспертов [s5](#src-s5). Для локального запуска проверяйте полный набор весов выбранного checkpoint и конкретную схему размещения в CPU/GPU, а не только суффикс `A3B`.

В официальном репозитории GGUF Qwen3-30B-A3B есть вариант `Q4_K_M`; его файл в закреплённом дереве занимает **18 556 685 824 байта** [s3](#src-s3) [s4](#src-s4). Это *размер одного файла*, не измеренная RAM/VRAM и не обещание, что видеокарты с таким объёмом памяти хватит. Runtime также хранит контекст и другие рабочие данные; объём на GPU может отличаться от памяти под весь процесс [s6](#src-s6) [s7](#src-s7). Различайте три записи: **общие параметры** модели, **активные параметры** вычисления и **объём конкретных весов после квантования**. Квант меняет представление весов, а MoE — маршрутизацию; одно не отменяет другого [s3](#src-s3) [s5](#src-s5).

## Какой путь локального запуска проверить?

- Выберите конкретную ревизию и формат. У автора Qwen опубликованы GGUF-варианты `Q4_K_M`, `Q5_0`, `Q5_K_M`, `Q6_K`, `Q8_0`; не заменяйте этим перечнем проверку файлов текущей ревизии [s3](#src-s3) [s4](#src-s4). Для первого теста уточните, совместимы ли выбранные квант и runtime на вашем компьютере; [разбор GGUF](/zhurnal/gguf-i-kvantovanie/) объясняет отличие квантования весов от числа экспертов.

- В закреплённой карточке Qwen показан пример Ollama для **Q8_0**: `ollama run hf.co/Qwen/Qwen3-30B-A3B-GGUF:Q8_0` [s3](#src-s3). Это пример команды из документации автора, **не результат запуска Modelium** и не гарантия, что именно этот более крупный вариант поместится у вас. Не подменяйте его тег на `Q4_K_M` без повторной сверки актуального файла и поддержки загрузки.

- После загрузки модели проверьте, сколько ресурсов занял именно этот запуск. Ollama документирует `ollama ps` для просмотра размещения, а `/api/ps` показывает поля `size` и `size_vram` для загруженной модели [s6](#src-s6) [s7](#src-s7). Запишите версию Ollama, полный тег, квант, рабочее окно и наблюдаемое размещение, затем выполните короткий запрос и сверьте ответ с собственным исходником. Эти показатели **не** превращаются в универсальные минимальные требования для всех MoE.

- Если модель не помещается или отвечает слишком медленно, проверьте другой квант, уменьшение рабочего контекста или другой способ размещения, но повторите проверку качества на тех же задачах и зафиксируйте фактическую память/скорость [s3](#src-s3) [s6](#src-s6). Утверждения «MoE всегда быстрее dense» или «A3B работает как 3B на любой видеокарте» здесь не подтверждены.

## Когда нужен другой материал вместо объяснения MoE?

Если задача — понять, **какой объём памяти потребуется**, откройте [оценку памяти для конкретной модели](/zhurnal/videokarta-dlya-llm/) и подставьте свой файл весов, контекст и конфигурацию. Если выбираете между двумя моделями под задачу, смотрите [сравнение GLM и Qwen](/zhurnal/glm-ili-qwen/), а не объявляйте победителя по доле активных параметров. Если нужен пошаговый выбор runtime, перейдите к [запуску Qwen локально](/zhurnal/qwen-lokalno/). Основной следующий шаг после этого термина — проверить память и размещение *конкретного* кванта на своём устройстве.

## Источники

1. [Qwen3-30B-A3B — карточка автора, commit ad44e777](https://huggingface.co/Qwen/Qwen3-30B-A3B/blob/ad44e777bcd18fa416d9da3bd8f70d33ebb85d39/README.md) — получено 2026-10-01
2. [Qwen3-30B-A3B — config.json, commit ad44e777](https://huggingface.co/Qwen/Qwen3-30B-A3B/blob/ad44e777bcd18fa416d9da3bd8f70d33ebb85d39/config.json) — получено 2026-10-01
3. [Qwen3-30B-A3B-GGUF — карточка автора, commit e4d4bafd](https://huggingface.co/Qwen/Qwen3-30B-A3B-GGUF/blob/e4d4bafdfb96a411a163846265362aceb0b9c63a/README.md) — получено 2026-10-01
4. [Qwen3-30B-A3B-GGUF — закреплённое дерево файлов](https://huggingface.co/api/models/Qwen/Qwen3-30B-A3B-GGUF/tree/e4d4bafdfb96a411a163846265362aceb0b9c63a?recursive=true) — получено 2026-10-01
5. [Hugging Face Transformers v4.57.1 — архитектура Mixtral](https://huggingface.co/docs/transformers/v4.57.1/en/model_doc/mixtral) — получено 2026-10-01
6. [Ollama — FAQ о размещении модели и контексте](https://docs.ollama.com/faq) — получено 2026-10-01
7. [Ollama — API списка загруженных моделей](https://docs.ollama.com/api/ps) — получено 2026-10-01