Marco Nano и Mini: новые REAP-GGUF с удалёнными экспертами для локального запуска

Что выбирать для локального запуска

Практичный старт для оценки — Nano REAP20 Q4_K_M: файл Marco-Nano-Instruct-REAP20-Q4_K_M.gguf занимает 4 353 786 496 байт (около 4,05 GiB). Автор показывает perplexity 15,36 против 11,48 у его непрореженного baseline Nano на WikiText-2. Если важнее качество по этому узкому показателю, Nano REAP05 — 5 128 503 840 байт (около 4,78 GiB) и авторские 12,07 PPL. Для Mini REAP15 файл занимает 8 981 160 480 байт (около 8,36 GiB), автор сообщает 10,28 PPL; это другой baseline и выбирать между семействами только по одному числу нельзя. Все размеры здесь взяты из закреплённых HF-манифестов в байтах и переведены в GiB: карточки подписывают аналогичные числа «GB», фактически они соответствуют двоичным GiB. Размер файла не равен минимальному требованию к RAM/VRAM — остаются KV-кэш, контекст и накладные расходы runtime. s1 s2

В карточке Nano приведён пример запуска через llama-server --hf-repo kueizen/Marco-Nano-Instruct-REAP-GGUF --hf-file Marco-Nano-Instruct-REAP20-Q4_K_M.gguf -ngl 99. Это команда автора, не исполненная Modelium; параметры разгрузки и контекст нужно подобрать под реальную машину. Репозитории также перечисляют рецепты для Ollama и поиск файла в LM Studio, но совместимость каждой версии приложений здесь отдельно не проверялась. Начните с одного файла и проверьте ответы на собственной задаче, прежде чем фиксировать более агрессивное прореживание. s1

Что подтверждено, а что нет

Автор описывает метод REAP: эксперты удаляются без дообучения, затем веса квантуются в GGUF Q4_K_M. В Nano-карточке perplexity измерялась llama-perplexity на 50 фрагментах WikiText-2, контекст 512; скорость — llama-bench на одной RTX 3090, все слои на GPU, три прогона, сборки llama.cpp b8164 и b8575. У Mini другая калибровка (64 примера на категорию, длина до 2048 против 8 батчей по 2 и длины до 512 у Nano), но оценка PPL также на WikiText-2 с контекстом 512. Это заявления автора, не тесты Modelium; MMLU, код и многоязычные задачи для этих файлов не измерены. Не переносите результаты на свою видеокарту или CPU. s1 s2

У карточек Nano и Mini и соответствующих upstream-моделей стоит метка Apache-2.0; это характеристика опубликованных весов, не доказательство открытости всего используемого стека. В upstream-деревьях отдельного файла LICENSE не обнаружено: перед коммерческой поставкой проверьте лицензионное уведомление и обязательства по собственному дистрибутиву. Кроме того, в Nano REAP15 карточка GGUF говорит о 197 оставшихся экспертах, а config.json одноимённого BF16-чекпойнта сообщает 198. Поэтому число экспертов REAP15 не используем как инструкцию к загрузке или как аргумент производительности; ориентируйтесь на конкретный закреплённый GGUF, а несовпадение уточняйте у автора. s1 s3 s4 s5

Вывод: если нужен компактный локальный эксперимент, скачайте один Nano REAP05 или REAP20 и сравните его с исходной моделью на своих запросах. Mini имеет смысл проверять отдельно, когда размер файла приемлем и нужен другой баланс ёмкости и качества; нельзя заключить по PPL, что прореживание улучшает прикладное качество. Публикация весов не заменяет теста целевого runtime, безопасности и лицензии вашего полного стека. s1 s2