VeriLoop E2: GGUF-веса BF16 и Q8_0 для локального llama.cpp

Что скачивать

• VeriLoop-E2-BF16.gguf — эталонный GGUF, 53 808 284 000 байт (около 53,8 ГБ на диске). Отдельный mtp-VeriLoop-E2-BF16.gguf содержит черновую MTP-модель для спекулятивного декодирования. s2
• VeriLoop-E2-Q8_0.gguf — квантованный вариант, 28 595 765 600 байт (около 28,6 ГБ на диске). Дополнительный mtp-VeriLoop-E2-Q8_0.gguf занимает 3 287 070 240 байт. Эти размеры подтверждаются деревом файлов Hugging Face и манифестом выпуска. MTP-файл не требуется для обычной генерации. s1 s5

Размер файла не равен минимальному объёму RAM или VRAM. При выборе машины учитывайте KV-кеш, рабочие буферы, длину контекста и размещение слоёв между CPU и GPU. BF16 не следует называть «низкобитной» квантовкой: она опубликована как точка сравнения с Q8_0. s1 s2

Как запустить локально

Авторы приводят сценарий для актуального llama.cpp с поддержкой архитектуры Qwen3.8. Скачайте основной файл Q8_0 и запустите сервер, например с умеренным начальным контекстом; это редакционная адаптация команды из карточки, не собственный тест Modelium. s1

hf download tsinghua-sigs-robot-lab/VeriLoop-E2-Q8_0-GGUF \
VeriLoop-E2-Q8_0.gguf --local-dir .
llama-server -m ./VeriLoop-E2-Q8_0.gguf \
-c 8192 --host 127.0.0.1 --port 8080

Сервер предоставляет совместимый с OpenAI API адрес http://127.0.0.1:8080/v1. Параметр -ngl all из примера авторов добавляйте только если веса, кеш и буферы помещаются на ускорителе; частичная выгрузка на GPU настраивается отдельно. При желании MTP подключается через --model-draft и --spec-type draft-mtp, но ускорение не гарантировано. Авторский smoke-test Q8_0 использовал основной файл на GPU, MTP на CPU и контекст 8192; это проверка совместимости, не универсальный аппаратный минимум или замер скорости. s1 s6

Что означают заявления о качестве

Авторы сравнили Q8_0 с собственным BF16-GGUF на восьми фрагментах WikiText-2 при контексте 2048 токенов, seed 42 и одинаковых настройках llama-perplexity. По их данным, средняя perplexity выросла на 0,0643% относительно BF16, а совпадение самого вероятного следующего токена составило 98,815%. Это узкий тест сохранения распределения при квантовании, а не снижение качества программирования «на 0,0643%» и не независимая проверка. Большие результаты родительской модели в SWE-bench, AIME и других тестах относятся к авторской конфигурации, иногда с закрытым production Harness; Q8_0 отдельно на этих бенчмарках не пересчитывалась. s1 s6 s7

В карточке Q8_0 на момент проверки остались шаблоны вида {{Q8_BYTES}} и {{Q8_SHA256}}. Для точных размеров и хешей используйте отдельный заполненный Q8_RELEASE_MANIFEST.json, а не незавершённые поля README. Мы сверили размеры с Hugging Face API, но не скачивали многогигабайтные веса и не перепроверяли SHA256 файлов. s1 s5

Лицензия и границы выпуска

Карточки родительской и GGUF-моделей указывают Apache 2.0, отдельный LICENSE опубликован в репозитории родительских весов; базовая Qwen3.8-27B также обозначена как Apache 2.0. Эта лицензия допускает коммерческое применение при соблюдении её условий, но не превращает закрытый VeriLoop Harness в открытый код: карточка прямо говорит, что production-реализация в пакет не включена. Научные демонстрационные артефакты опубликованы отдельно на иных, исследовательских и некоммерческих условиях. s3 s8 s9

Практический вывод: для локального знакомства с VeriLoop E2 выбирайте Q8_0 как более компактный из двух официальных GGUF; BF16 полезен как эталон сравнения. Сначала проверяйте качество на своих задачах и доступный контекст на своей системе, а не переносите авторские бенчмарки на собственную конфигурацию. s1 s2