MoE: активные параметры и память при локальном запуске

Что такое MoE и кого называют экспертами?

Mixture of experts (MoE) — архитектура с несколькими экспертными блоками и механизмом выбора: для токена маршрутизатор включает часть экспертов, а не все одновременно. «Эксперт» здесь — часть нейросети, а не отдельный человек или непременно отдельная модель. У Mixtral в документации Transformers описаны восемь экспертов в экспертном слое и выбор двух для обработки токена s5. У других архитектур числа и правила маршрутизации отличаются: не переносите настройки Mixtral на Qwen.

На конкретном примере Qwen3-30B-A3B карточка автора указывает 30,5 млрд параметров всего и 3,3 млрд активных при обработке токена; это сведения разработчика, не измерение Modelium s1. Закреплённый config.json задаёт num_experts: 128 и num_experts_per_tok: 8 s2. «Активные» описывает выбранный вычислительный путь, а не отдельный файл с 3,3 млрд параметров. Разные токены могут обратиться к разным экспертам; 128 и 8 нельзя перемножать в готовое правило расчёта памяти s2 s5.

Значит ли A3B, что достаточно памяти как для модели 3B?

Нет. Выбор части экспертов снижает объём вычисления отдельных экспертных блоков для токена, но веса остальных экспертов остаются частью модели; документация Mixtral прямо отличает вычисление активного пути от размещения весов экспертов s5. Для локального запуска проверяйте полный набор весов выбранного checkpoint и конкретную схему размещения в CPU/GPU, а не только суффикс A3B.

В официальном репозитории GGUF Qwen3-30B-A3B есть вариант Q4_K_M; его файл в закреплённом дереве занимает 18 556 685 824 байта s3 s4. Это размер одного файла, не измеренная RAM/VRAM и не обещание, что видеокарты с таким объёмом памяти хватит. Runtime также хранит контекст и другие рабочие данные; объём на GPU может отличаться от памяти под весь процесс s6 s7. Различайте три записи: общие параметры модели, активные параметры вычисления и объём конкретных весов после квантования. Квант меняет представление весов, а MoE — маршрутизацию; одно не отменяет другого s3 s5.

Какой путь локального запуска проверить?

1. Выберите конкретную ревизию и формат. У автора Qwen опубликованы GGUF-варианты Q4_K_M, Q5_0, Q5_K_M, Q6_K, Q8_0; не заменяйте этим перечнем проверку файлов текущей ревизии s3 s4. Для первого теста уточните, совместимы ли выбранные квант и runtime на вашем компьютере; разбор GGUF объясняет отличие квантования весов от числа экспертов.
2. В закреплённой карточке Qwen показан пример Ollama для Q8_0: ollama run hf.co/Qwen/Qwen3-30B-A3B-GGUF:Q8_0 s3. Это пример команды из документации автора, не результат запуска Modelium и не гарантия, что именно этот более крупный вариант поместится у вас. Не подменяйте его тег на Q4_K_M без повторной сверки актуального файла и поддержки загрузки.
3. После загрузки модели проверьте, сколько ресурсов занял именно этот запуск. Ollama документирует ollama ps для просмотра размещения, а /api/ps показывает поля size и size_vram для загруженной модели s6 s7. Запишите версию Ollama, полный тег, квант, рабочее окно и наблюдаемое размещение, затем выполните короткий запрос и сверьте ответ с собственным исходником. Эти показатели не превращаются в универсальные минимальные требования для всех MoE.
4. Если модель не помещается или отвечает слишком медленно, проверьте другой квант, уменьшение рабочего контекста или другой способ размещения, но повторите проверку качества на тех же задачах и зафиксируйте фактическую память/скорость s3 s6. Утверждения «MoE всегда быстрее dense» или «A3B работает как 3B на любой видеокарте» здесь не подтверждены.

Когда нужен другой материал вместо объяснения MoE?

Если задача — понять, какой объём памяти потребуется, откройте оценку памяти для конкретной модели и подставьте свой файл весов, контекст и конфигурацию. Если выбираете между двумя моделями под задачу, смотрите сравнение GLM и Qwen, а не объявляйте победителя по доле активных параметров. Если нужен пошаговый выбор runtime, перейдите к запуску Qwen локально. Основной следующий шаг после этого термина — проверить память и размещение конкретного кванта на своём устройстве.