Scion 35B-A3B: тернарные эксперты и коррекции в одном GGUF

Что в файле и почему нужен специальный runtime

Автор оставил веса MoE-экспертов в тернарном контейнере PQ2_0, остальные части — в других форматах, и встроил обученные коррекции непосредственно в GGUF. Поэтому отдельный LoRA-файл при загрузке, согласно документации автора, не нужен. Это не тот же формат, что стандартная маркировка Q2_0 в интерфейсе Hugging Face: карточка предупреждает о разных типах контейнера. Обычный upstream llama.cpp для этого файла не подходит. У автора есть публичный форк sky-is-green/prism-ml-llama.cpp с веткой moe-corr-runtime; она же указана как default branch, а в репозитории доступен скрипт verify-container-support.sh, проверяющий поддержку контейнера перед сборкой. Наличие исходников и скрипта проверено; сама редакция не собирала форк и не запускала модель. s1 s4

Практический путь для опытного пользователя: взять именно этот форк и сверить ревизию ede4d160574fec102378e9f2e1cbdb07c875ba64, выполнить его локальную проверку поддержки контейнера, затем собрать под свою платформу и отдельно загрузить GGUF из закреплённой ревизии HF. Карточка описывает сборки CPU и ROCm; CUDA автор считает возможной, но прямо помечает непроверенной. Не подменяйте ветку сборкой из стандартного llama.cpp и не считайте опубликованную автором конфигурацию испытания минимальным аппаратным требованием. Перед использованием в рабочем процессе проверьте фактическую загрузку, ответы и требуемую память на своём компьютере. s1 s4

Качество: что именно измерил автор

В таблице автора Scion показывает perplexity 8,3539 на WikiText-2 при контексте 512 и 580 фрагментах, тогда как BF16-референс — 7,1595, а сравниваемый IQ2_M — 8,4133. На двух отдельных выборках по 400 заданий указаны HellaSwag 79,00% и Winogrande 76,25%; при таком размере выборки доли процента не стоит выдавать за устойчивое превосходство. По KL-дивергенции относительно распределения BF16 картина хуже: 0,2694 для Scion против 0,0314 у Q4_K_M. Это разные критерии — результат на отдельных задачах не отменяет различия полных распределений токенов. Автор описывает измерения на H100 SXM для референсов и на RX 7900 XT для Scion с перекрёстной проверкой одного сравнения. Все цифры — авторские, независимой репликации Modelium нет. s1 s5

Права и выбор

В репозитории Scion есть текст Apache License 2.0 и NOTICE с указанием происхождения от модели empero-ai и исходной Qwen3.6-35B-A3B; карточки обоих базовых репозиториев также указывают Apache-2.0. Это означает опубликованные условия для использования весов, в том числе коммерческого при соблюдении лицензии и уведомлений, но не означает, что каждый компонент runtime имеет ту же лицензию: для форка указана MIT. Перед внедрением проверьте требования всех включённых компонентов. Открытые веса и открытый код форка — разные артефакты. s6 s7 s8 s4

Выбирать Scion разумно, если важны единый сравнительно небольшой файл и эксперименты с тернарными экспертами, а допустима сборка специализированного форка. Если критичны штатная совместимость llama.cpp, проверенная CUDA-сборка или точное сохранение распределения BF16, сначала сравните обычные GGUF-квантизации той же базы и проведите собственные тесты на своих запросах. Не переносите выводы из авторских 400-заданных выборок на свой production-набор без валидации. s1 s5