# Marco Nano и Mini: новые REAP-GGUF с удалёнными экспертами для локального запуска

Источник: https://modelium.tech/zhurnal/marco-nano-mini-reap-gguf-expert-pruning/

6 октября 2026 года Kueizen загрузил по девять Q4_K_M GGUF-вариантов Marco Nano и Mini с разной долей удалённых MoE-экспертов. Для Nano REAP20 весовой файл занимает 4 353 786 496 байт (примерно 4,05 GiB), а для Mini REAP15 — 8 981 160 480 байт (примерно 8,36 GiB). Это готовые файлы для попытки локального запуска через llama.cpp, но не проверка работоспособности Modelium. Оценки perplexity и скорости получены автором; task-бенчмарков нет, а размер GGUF нельзя принимать за минимальную RAM или VRAM.

Marco Nano и Mini: REAP-GGUF с удалёнными экспертами

6 октября 2026 года автор Kueizen выложил по девять одиночных файлов Q4_K_M для Marco Nano Instruct и Marco Mini Instruct. Это сторонние конверсии и прореженные версии существующих моделей ATH-MaaS, **не новые базовые модели Marco**. В закреплённых деревьях каждого репозитория присутствуют все девять GGUF — от REAP05 до REAP70; запись `REAP20` означает удаление около 20% экспертов, а не изменение доли активных экспертов на токен. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s4](#src-s4)

## Что выбирать для локального запуска

Практичный старт для оценки — Nano REAP20 Q4_K_M: файл `Marco-Nano-Instruct-REAP20-Q4_K_M.gguf` занимает **4 353 786 496 байт (около 4,05 GiB)**. Автор показывает perplexity **15,36** против **11,48** у его непрореженного baseline Nano на WikiText-2. Если важнее качество по этому узкому показателю, Nano REAP05 — **5 128 503 840 байт (около 4,78 GiB)** и авторские **12,07 PPL**. Для Mini REAP15 файл занимает **8 981 160 480 байт (около 8,36 GiB)**, автор сообщает **10,28 PPL**; это другой baseline и выбирать между семействами только по одному числу нельзя. Все размеры здесь взяты из закреплённых HF-манифестов в байтах и переведены в GiB: карточки подписывают аналогичные числа «GB», фактически они соответствуют двоичным GiB. **Размер файла не равен минимальному требованию к RAM/VRAM** — остаются KV-кэш, контекст и накладные расходы runtime. [s1](#src-s1) [s2](#src-s2)

В карточке Nano приведён пример запуска через `llama-server --hf-repo kueizen/Marco-Nano-Instruct-REAP-GGUF --hf-file Marco-Nano-Instruct-REAP20-Q4_K_M.gguf -ngl 99`. Это **команда автора, не исполненная Modelium**; параметры разгрузки и контекст нужно подобрать под реальную машину. Репозитории также перечисляют рецепты для Ollama и поиск файла в LM Studio, но совместимость каждой версии приложений здесь отдельно не проверялась. Начните с одного файла и проверьте ответы на собственной задаче, прежде чем фиксировать более агрессивное прореживание. [s1](#src-s1)

## Что подтверждено, а что нет

Автор описывает метод REAP: эксперты удаляются без дообучения, затем веса квантуются в GGUF Q4_K_M. В Nano-карточке perplexity измерялась `llama-perplexity` на 50 фрагментах WikiText-2, контекст 512; скорость — `llama-bench` на одной RTX 3090, все слои на GPU, три прогона, сборки llama.cpp b8164 и b8575. У Mini другая калибровка (64 примера на категорию, длина до 2048 против 8 батчей по 2 и длины до 512 у Nano), но оценка PPL также на WikiText-2 с контекстом 512. Это **заявления автора, не тесты Modelium**; MMLU, код и многоязычные задачи для этих файлов не измерены. Не переносите результаты на свою видеокарту или CPU. [s1](#src-s1) [s2](#src-s2)

У карточек Nano и Mini и соответствующих upstream-моделей стоит метка **Apache-2.0**; это характеристика опубликованных весов, не доказательство открытости всего используемого стека. В upstream-деревьях отдельного файла LICENSE не обнаружено: перед коммерческой поставкой проверьте лицензионное уведомление и обязательства по собственному дистрибутиву. Кроме того, в Nano REAP15 карточка GGUF говорит о 197 оставшихся экспертах, а `config.json` одноимённого BF16-чекпойнта сообщает 198. Поэтому число экспертов REAP15 не используем как инструкцию к загрузке или как аргумент производительности; ориентируйтесь на конкретный закреплённый GGUF, а несовпадение уточняйте у автора. [s1](#src-s1) [s3](#src-s3) [s4](#src-s4) [s5](#src-s5)

**Вывод:** если нужен компактный локальный эксперимент, скачайте один Nano REAP05 или REAP20 и сравните его с исходной моделью на своих запросах. Mini имеет смысл проверять отдельно, когда размер файла приемлем и нужен другой баланс ёмкости и качества; нельзя заключить по PPL, что прореживание улучшает прикладное качество. Публикация весов не заменяет теста целевого runtime, безопасности и лицензии вашего полного стека. [s1](#src-s1) [s2](#src-s2)

## Источники

1. [Kueizen Marco-Nano-Instruct-REAP-GGUF — закреплённая карточка и полное дерево](https://huggingface.co/kueizen/Marco-Nano-Instruct-REAP-GGUF/tree/6652625951bc4b4eb8de82716f023a6d72dd2868) — получено 2026-10-06
2. [Kueizen Marco-Mini-Instruct-REAP-GGUF — закреплённая карточка и полное дерево](https://huggingface.co/kueizen/Marco-Mini-Instruct-REAP-GGUF/tree/eb68f5b098125c948997efe656d1d7d72869168e) — получено 2026-10-06
3. [ATH-MaaS Marco Nano Instruct — upstream model card и конфигурация](https://huggingface.co/ATH-MaaS/Marco-Nano-Instruct/tree/4ff10d07e506d5d492a70b1d3be1a4e2ee6a1823) — получено 2026-10-06
4. [ATH-MaaS Marco Mini Instruct — upstream model card и конфигурация](https://huggingface.co/ATH-MaaS/Marco-Mini-Instruct/tree/a85af582f1a2384e1eb3b3c8b03466e190403879) — получено 2026-10-06
5. [Kueizen Marco-Nano-Instruct-REAP15 — опубликованная конфигурация BF16](https://huggingface.co/kueizen/Marco-Nano-Instruct-REAP15/blob/fd89e486147ee7f2f95983edada3b86bb7371f98/config.json) — получено 2026-10-06