# VeriLoop E2: GGUF-веса BF16 и Q8_0 для локального llama.cpp Источник: https://modelium.tech/zhurnal/veriloop-e2-gguf-q8-bf16-llama-cpp/ 23 сентября 2026 года проект VeriLoop E2 выпустил BF16- и Q8_0-файлы GGUF для локального запуска 27B-модели в llama.cpp. Q8_0 занимает 28,6 ГБ на диске; отдельная MTP-модель необязательна. Авторские тесты квантования не равны независимой проверке качества на прикладных задачах. VeriLoop E2 получил GGUF: BF16 и Q8_0 для локального llama.cpp **23 сентября 2026 года** в репозиториях проекта VeriLoop E2 появились две GGUF-сборки: исходная по точности BF16 и более компактная Q8_0. Это формат запуска уже опубликованной днём ранее 27B-модели, дообученной на базе Qwen3.8-27B для задач кода, математики и рассуждений; не новый базовый чекпойнт. Обе сборки размещены в той же организации Hugging Face, что и родительская модель. История коммитов датирует полную загрузку BF16 18:27 UTC, Q8_0 — 19:48 UTC. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s4](#src-s4) [s10](#src-s10) ## Что скачивать - `VeriLoop-E2-BF16.gguf` — эталонный GGUF, 53 808 284 000 байт (около 53,8 ГБ на диске). Отдельный `mtp-VeriLoop-E2-BF16.gguf` содержит черновую MTP-модель для спекулятивного декодирования. [s2](#src-s2) - `VeriLoop-E2-Q8_0.gguf` — квантованный вариант, 28 595 765 600 байт (около 28,6 ГБ на диске). Дополнительный `mtp-VeriLoop-E2-Q8_0.gguf` занимает 3 287 070 240 байт. Эти размеры подтверждаются деревом файлов Hugging Face и манифестом выпуска. MTP-файл не требуется для обычной генерации. [s1](#src-s1) [s5](#src-s5) **Размер файла не равен минимальному объёму RAM или VRAM.** При выборе машины учитывайте KV-кеш, рабочие буферы, длину контекста и размещение слоёв между CPU и GPU. BF16 не следует называть «низкобитной» квантовкой: она опубликована как точка сравнения с Q8_0. [s1](#src-s1) [s2](#src-s2) ## Как запустить локально Авторы приводят сценарий для актуального `llama.cpp` с поддержкой архитектуры Qwen3.8. Скачайте основной файл Q8_0 и запустите сервер, например с умеренным начальным контекстом; это редакционная адаптация команды из карточки, **не собственный тест Modelium**. [s1](#src-s1) hf download tsinghua-sigs-robot-lab/VeriLoop-E2-Q8_0-GGUF \ VeriLoop-E2-Q8_0.gguf --local-dir .llama-server -m ./VeriLoop-E2-Q8_0.gguf \ -c 8192 --host 127.0.0.1 --port 8080 Сервер предоставляет совместимый с OpenAI API адрес `http://127.0.0.1:8080/v1`. Параметр `-ngl all` из примера авторов добавляйте только если веса, кеш и буферы помещаются на ускорителе; частичная выгрузка на GPU настраивается отдельно. При желании MTP подключается через `--model-draft` и `--spec-type draft-mtp`, но ускорение не гарантировано. Авторский smoke-test Q8_0 использовал основной файл на GPU, MTP на CPU и контекст 8192; это проверка совместимости, не универсальный аппаратный минимум или замер скорости. [s1](#src-s1) [s6](#src-s6) ## Что означают заявления о качестве Авторы сравнили Q8_0 с собственным BF16-GGUF на восьми фрагментах WikiText-2 при контексте 2048 токенов, seed 42 и одинаковых настройках `llama-perplexity`. По **их** данным, средняя perplexity выросла на 0,0643% относительно BF16, а совпадение самого вероятного следующего токена составило 98,815%. Это узкий тест сохранения распределения при квантовании, а **не** снижение качества программирования «на 0,0643%» и не независимая проверка. Большие результаты родительской модели в SWE-bench, AIME и других тестах относятся к авторской конфигурации, иногда с закрытым production Harness; Q8_0 отдельно на этих бенчмарках не пересчитывалась. [s1](#src-s1) [s6](#src-s6) [s7](#src-s7) В карточке Q8_0 на момент проверки остались шаблоны вида `{{Q8_BYTES}}` и `{{Q8_SHA256}}`. Для точных размеров и хешей используйте отдельный заполненный `Q8_RELEASE_MANIFEST.json`, а не незавершённые поля README. Мы сверили размеры с Hugging Face API, но не скачивали многогигабайтные веса и не перепроверяли SHA256 файлов. [s1](#src-s1) [s5](#src-s5) ## Лицензия и границы выпуска Карточки родительской и GGUF-моделей указывают **Apache 2.0**, отдельный `LICENSE` опубликован в репозитории родительских весов; базовая Qwen3.8-27B также обозначена как Apache 2.0. Эта лицензия допускает коммерческое применение при соблюдении её условий, но не превращает закрытый VeriLoop Harness в открытый код: карточка прямо говорит, что production-реализация в пакет не включена. Научные демонстрационные артефакты опубликованы отдельно на иных, исследовательских и некоммерческих условиях. [s3](#src-s3) [s8](#src-s8) [s9](#src-s9) **Практический вывод:** для локального знакомства с VeriLoop E2 выбирайте Q8_0 как более компактный из двух официальных GGUF; BF16 полезен как эталон сравнения. Сначала проверяйте качество на своих задачах и доступный контекст на своей системе, а не переносите авторские бенчмарки на собственную конфигурацию. [s1](#src-s1) [s2](#src-s2) ## Источники 1. [VeriLoop E2 Q8_0: pinned model card](https://huggingface.co/tsinghua-sigs-robot-lab/VeriLoop-E2-Q8_0-GGUF/blob/c93570c18af3ccfbf656f2a083bf6be6fd915f2f/README.md) — получено 2026-09-23 2. [VeriLoop E2 BF16 GGUF: pinned model card](https://huggingface.co/tsinghua-sigs-robot-lab/VeriLoop-E2-GGUF/blob/eae94eab2e9f95da578dd6d1accfa3a7bd230974/README.md) — получено 2026-09-23 3. [VeriLoop E2: pinned parent model card](https://huggingface.co/tsinghua-sigs-robot-lab/VeriLoop-E2/blob/291b61c2f754eb61be2073fc0444d9e994c28d8e/README.md) — получено 2026-09-23 4. [Q8 GGUF repository commit history](https://huggingface.co/tsinghua-sigs-robot-lab/VeriLoop-E2-Q8_0-GGUF/commits/main) — получено 2026-09-23 5. [VeriLoop E2 Q8_0: completed release manifest](https://huggingface.co/tsinghua-sigs-robot-lab/VeriLoop-E2-Q8_0-GGUF/blob/c93570c18af3ccfbf656f2a083bf6be6fd915f2f/Q8_RELEASE_MANIFEST.json) — получено 2026-09-23 6. [VeriLoop E2 Q8_0: quality card and test conditions](https://huggingface.co/tsinghua-sigs-robot-lab/VeriLoop-E2-Q8_0-GGUF/blob/c93570c18af3ccfbf656f2a083bf6be6fd915f2f/QUALITY_CARD.md) — получено 2026-09-23 7. [VeriLoop E2 evaluation evidence repository](https://huggingface.co/datasets/tsinghua-sigs-robot-lab/VeriLoop-E2-Evaluation-Evidence) — получено 2026-09-23 8. [VeriLoop E2 parent model Apache-2.0 LICENSE](https://huggingface.co/tsinghua-sigs-robot-lab/VeriLoop-E2/blob/291b61c2f754eb61be2073fc0444d9e994c28d8e/LICENSE) — получено 2026-09-23 9. [Qwen3.8-27B base model license and card](https://huggingface.co/Qwen/Qwen3.8-27B) — получено 2026-09-23 10. [BF16 GGUF repository commit history](https://huggingface.co/tsinghua-sigs-robot-lab/VeriLoop-E2-GGUF/commits/main) — получено 2026-09-23