# Nex-N2.5-mini Sangreal ICE: четыре GGUF-квантизации с проверяемыми логами

Источник: https://modelium.tech/zhurnal/nex-n25-mini-sangreal-ice-gguf-quantization/

4 октября 2026 года gbuzhf загрузил четыре GGUF-квантизации Sangreal ICE для модифицированной OrcaRouter версии Nex-N2.5-mini. Репозиторий содержит файлы 15G, 19G, 23G и 25G, совместимый проектор изображения и сырые логи авторского сравнения с обычными квантами того же чекпойнта. Это выбор формата для локального llama.cpp, а не новая базовая модель; улучшение качества генерации или скорости из KLD-теста не следует.

Nex-N2.5-mini Sangreal ICE: что изменилось для локального запуска

4 октября 2026 года автор gbuzhf загрузил четыре файла Sangreal ICE для **модифицированной OrcaRouter версии Nex-N2.5-mini**. Это не новый релиз Nex-AGI: исходная модель и вариант с подавленным поведением отказа существовали раньше. Новое событие — четыре GGUF-квантизации, эталонные BF16-файлы, отдельный мультимодальный проектор и сырые логи сравнения в одном публичном репозитории. Дата загрузки файлов и актуальная ревизия проверяются по истории Hugging Face; время последнего изменения карточки не подменяет дату самой модели. [s1](#src-s1)[s2](#src-s2)[s4](#src-s4)

## Что можно скачать

В закреплённой ревизии `886e0c1` Hugging Face перечисляет полные отдельные файлы `Sangreal-15G-ICE.gguf` (14,51 GB), `19G-ICE.gguf` (18,47 GB), `23G-ICE.gguf` (22,52 GB) и `25G-ICE.gguf` (24,53 GB). Там же есть `mmproj-Nex-N2.5-mini-OrcaRouter-Q8_0.gguf` (0,61 GB), отдельный Q8_0 и два BF16-шарда для эталона. Это размеры загружаемых файлов, **не** минимальный объём RAM/VRAM: рабочая память зависит также от контекста, KV-кэша, графа, offload и среды исполнения. Список подтверждён полным `siblings` в API, а не первой страницей дерева файлов. [s1](#src-s1)[s2](#src-s2)

Модель построена на исходных весах Nex-AGI под Apache-2.0, затем изменена OrcaRouter для удаления части поведения отказа. Карточки исходной модели, OrcaRouter-варианта и новой квантизации помечены Apache-2.0. Это открытые веса с заявленной лицензией, но код локального движка — отдельный проект; лицензия на веса сама по себе не доказывает совместимость конкретной сборки или безопасность агента. Режим без стандартного отказа особенно требует изоляции при доступе к файлам, сети и инструментам. [s1](#src-s1)[s2](#src-s2)[s4](#src-s4)

## Что именно измерил автор

Автор сравнил вероятность следующего токена у квантов с **BF16 этой же модифицированной версии**, а не с исходной Nex-AGI. В одной сессии `llama-perplexity` указаны 64 фрагмента при контексте 2048 токенов для кода и WikiText-2 и отдельные 8 фрагментов при контексте 16384; использованы две RTX PRO 5000 Blackwell 48 GB и сборка llama.cpp по коммиту `3653e6d`. Эти GPU — тестовый стенд автора, не системное требование. Сырые логи в репозитории показывают те же условия подсчёта и итоговые величины. [s2](#src-s2)[s3](#src-s3)

В авторском тесте кода при 2048 токенах 19G-ICE дал среднюю KLD 0,030379 против 0,037021 у обычного IQ4_XS (18,73 GB) того же модифицированного чекпойнта. Меньшая KLD означает меньшую дистанцию между распределениями на **этом** наборе токенов; автор также сообщает преимущество 19G на 62 из 64 парных фрагментов. Это не независимый бенчмарк задач и не доказательство, что ответы, зрение, tool calling или скорость стали лучше. Вариант 25G, напротив, не превосходит Q6_K в коротком кодовом тесте; нельзя выбирать квант только по одному проценту из таблицы. Результаты длинного контекста (8 фрагментов) не объединяются со статистикой 64 фрагментов. [s2](#src-s2)[s3](#src-s3)

Автор описывает калибровочный корпус Sangreal и собственную схему распределения точности между тензорами, но прямо говорит, что imatrix и рецепты создания квантов **не опубликованы** вместе с этими весами. Следовательно, файлы можно использовать и проверять, однако точное воспроизведение квантизации по этому выпуску пока невозможно. [s2](#src-s2)

## Как выбрать и запустить

Для первого локального сравнения разумно скачать **один** ICE-файл и проверить свои реальные текстовые задания рядом с уже доступным GGUF того же OrcaRouter-чекпойнта; 19G — ближайший по размеру к IQ4_XS из авторской таблицы. Загрузите выбранный файл локально, затем передайте путь `llama-server` через `-m`. Для входных изображений дополнительно скачайте именно прилагаемый `mmproj` и передайте его через `--mmproj`; документация llama.cpp отдельно описывает эту пару параметров. Не подменяйте проектор файлом от чистого Nex или другой конверсии. Этот порядок следует из документации и состава пакета; редакция **не запускала** данные веса и не удостоверяет совместимость каждой версии runtime. [s1](#src-s1)[s2](#src-s2)[s5](#src-s5)

Если нужен обычный ассистент с поведением отказа, начните с исходной Nex-N2.5-mini, а не с abliterated-ветки. Если задача — локальный агент, изолируйте права на сеть и исполнение кода и сначала сравните точность на своих запросах. Размер квантов, авторская KLD и само наличие мультимодального проектора не заменяют такого теста. [s2](#src-s2)[s4](#src-s4)

## Источники

1. [Hugging Face API: gbuzhf/Nex-N2.5-mini-OrcaRouter-Sangreal-ICE, pinned revision and siblings](https://huggingface.co/api/models/gbuzhf/Nex-N2.5-mini-OrcaRouter-Sangreal-ICE/revision/886e0c1e47ec5dc4a419861a40b51dec61a7f301?blobs=true) — получено 2026-10-04
2. [Author model card: Nex-N2.5-mini OrcaRouter Sangreal ICE, revision 886e0c1](https://huggingface.co/gbuzhf/Nex-N2.5-mini-OrcaRouter-Sangreal-ICE/blob/886e0c1e47ec5dc4a419861a40b51dec61a7f301/README.md) — получено 2026-10-04
3. [Author raw comparison summary and per-chunk logs, 4 October 2026](https://huggingface.co/gbuzhf/Nex-N2.5-mini-OrcaRouter-Sangreal-ICE/blob/886e0c1e47ec5dc4a419861a40b51dec61a7f301/measurements/2026-10-04/ORCA16_RESULT.txt) — получено 2026-10-04
4. [Nex-N2.5-mini original and OrcaRouter modified model cards](https://huggingface.co/orcarouter/Nex-N2.5-mini-Uncensored/blob/b5b458f29245d5c5576dd2cc9c0ff331645bbb5f/README.md) — получено 2026-10-04
5. [llama.cpp official multimodal local model and projector usage](https://github.com/ggml-org/llama.cpp/blob/master/docs/multimodal.md) — получено 2026-10-04