Nex-N2.5-mini Sangreal ICE: четыре GGUF-квантизации с проверяемыми логами

Что можно скачать

В закреплённой ревизии 886e0c1 Hugging Face перечисляет полные отдельные файлы Sangreal-15G-ICE.gguf (14,51 GB), 19G-ICE.gguf (18,47 GB), 23G-ICE.gguf (22,52 GB) и 25G-ICE.gguf (24,53 GB). Там же есть mmproj-Nex-N2.5-mini-OrcaRouter-Q8_0.gguf (0,61 GB), отдельный Q8_0 и два BF16-шарда для эталона. Это размеры загружаемых файлов, не минимальный объём RAM/VRAM: рабочая память зависит также от контекста, KV-кэша, графа, offload и среды исполнения. Список подтверждён полным siblings в API, а не первой страницей дерева файлов. s1s2

Модель построена на исходных весах Nex-AGI под Apache-2.0, затем изменена OrcaRouter для удаления части поведения отказа. Карточки исходной модели, OrcaRouter-варианта и новой квантизации помечены Apache-2.0. Это открытые веса с заявленной лицензией, но код локального движка — отдельный проект; лицензия на веса сама по себе не доказывает совместимость конкретной сборки или безопасность агента. Режим без стандартного отказа особенно требует изоляции при доступе к файлам, сети и инструментам. s1s2s4

Что именно измерил автор

Автор сравнил вероятность следующего токена у квантов с BF16 этой же модифицированной версии, а не с исходной Nex-AGI. В одной сессии llama-perplexity указаны 64 фрагмента при контексте 2048 токенов для кода и WikiText-2 и отдельные 8 фрагментов при контексте 16384; использованы две RTX PRO 5000 Blackwell 48 GB и сборка llama.cpp по коммиту 3653e6d. Эти GPU — тестовый стенд автора, не системное требование. Сырые логи в репозитории показывают те же условия подсчёта и итоговые величины. s2s3

В авторском тесте кода при 2048 токенах 19G-ICE дал среднюю KLD 0,030379 против 0,037021 у обычного IQ4_XS (18,73 GB) того же модифицированного чекпойнта. Меньшая KLD означает меньшую дистанцию между распределениями на этом наборе токенов; автор также сообщает преимущество 19G на 62 из 64 парных фрагментов. Это не независимый бенчмарк задач и не доказательство, что ответы, зрение, tool calling или скорость стали лучше. Вариант 25G, напротив, не превосходит Q6_K в коротком кодовом тесте; нельзя выбирать квант только по одному проценту из таблицы. Результаты длинного контекста (8 фрагментов) не объединяются со статистикой 64 фрагментов. s2s3

Автор описывает калибровочный корпус Sangreal и собственную схему распределения точности между тензорами, но прямо говорит, что imatrix и рецепты создания квантов не опубликованы вместе с этими весами. Следовательно, файлы можно использовать и проверять, однако точное воспроизведение квантизации по этому выпуску пока невозможно. s2

Как выбрать и запустить

Для первого локального сравнения разумно скачать один ICE-файл и проверить свои реальные текстовые задания рядом с уже доступным GGUF того же OrcaRouter-чекпойнта; 19G — ближайший по размеру к IQ4_XS из авторской таблицы. Загрузите выбранный файл локально, затем передайте путь llama-server через -m. Для входных изображений дополнительно скачайте именно прилагаемый mmproj и передайте его через --mmproj; документация llama.cpp отдельно описывает эту пару параметров. Не подменяйте проектор файлом от чистого Nex или другой конверсии. Этот порядок следует из документации и состава пакета; редакция не запускала данные веса и не удостоверяет совместимость каждой версии runtime. s1s2s5

Если нужен обычный ассистент с поведением отказа, начните с исходной Nex-N2.5-mini, а не с abliterated-ветки. Если задача — локальный агент, изолируйте права на сеть и исполнение кода и сначала сравните точность на своих запросах. Размер квантов, авторская KLD и само наличие мультимодального проектора не заменяют такого теста. s2s4