Qwengram 0.8B и 2B: локальные модели с внешней памятью PLE и собственным llama.cpp

Что действительно нужно скачать

У 0.8B GGUF Q4_K_M занимает примерно 584 МБ, у 2B — примерно 1,40 ГБ; другие точности доступны в карточках. Но дополнительно обязателен Qwen3.8-Flash-Next-PLE-Q4_1.gguf из репозитория Ivan Fioravanti — отдельный файл размером 32 000 157 440 байт. По описанию реализации он отображается в адресное пространство хоста и выборочно читается, а не целиком размещается в GPU. Размеры файлов не являются оценкой минимальной RAM или VRAM: на реальное потребление влияют runtime, ОС, кэш и настройки исполнения. Веса PLE не упакованы внутрь GGUF моделей. s1 s2 s5 s6

Для воспроизведения CPU-рецепта автор предлагает собрать llama-completion из закреплённого форка, задать переменную QWENGRAM_PLE с путём к скачанному PLE-файлу и запустить, например:

git clone https://github.com/Ninnix/llama.cpp-qwengram.git
cd llama.cpp-qwengram
git checkout 068fcb42662453bec15298ba6bd59f552190a468
cmake -S . -B build-qwengram-cpu -DCMAKE_BUILD_TYPE=Release -DLLAMA_BUILD_EXAMPLES=ON
cmake --build build-qwengram-cpu -j --target llama-completion
export QWENGRAM_PLE=/path/to/Qwen3.8-Flash-Next-PLE-Q4_1.gguf
build-qwengram-cpu/bin/llama-completion -m /path/to/QwenGram-0.8B-Q8_0.gguf -p 'The capital of France is' -n 16 -no-cnv -ngl 0

Последние два пути надо заменить на реально скачанные файлы. Команда воспроизведена по инструкции автора; Modelium не скачивал десятки гигабайт и не проводил свой тест запуска. Для 2B можно подставить соответствующий GGUF. Документация форка описывает и Vulkan, но короткие smoke-проверки на одной AMD BC-250 не доказывают совместимость или совпадение результатов на всех GPU. Для 0.8B Q4_K_M автор отдельно сообщает об отличии вывода при полном Vulkan-offload на своём устройстве и рекомендует там частичный offload. s1 s2 s5

Что показывают оценки — и чего они не показывают

В авторской frozen-оценке на исходном FP8 PLE perplexity 0.8B снизилась с 18,2759 до 17,3534; у 2B — с 14,141361 до 13,650184. Это сравнение с замороженной исходной моделью в методике автора, не независимая проверка качества ответов. Отдельно автор проверил GGUF-runtime на фиксированных 8 128 токенах WikiText-2: в парных CPU-прогонах Q4_K_M показал уменьшение perplexity относительно контрольного GGUF примерно на 6,00% для 0.8B и 4,53% для 2B. Эти два набора чисел нельзя смешивать: у них разные точности PLE, тестовые выборки и условия. Автор прямо не заявляет убедительного выигрыша по точности HellaSwag/LAMBADA; не стоит выдавать снижение NLL за рост качества во всех пользовательских задачах. s1 s2 s7 s8

Лицензии и ограничение применения

Карточки и отдельные LICENSE обоих производных чекпойнтов указывают Apache 2.0; базовые Qwen3.5-0.8B и 2B также размечены Apache 2.0. MIT относится к коду форка. Но обязательный внешний PLE-файл унаследован от Qwen3.8-Flash-Next и распространяется под Qwen Community License 1.0, не Apache 2.0. В её тексте предусмотрены условия атрибуции и отдельное соглашение для некоторых коммерческих сценариев Model-as-a-Service и AI Work Assistant, а также правило отображения названия при достижении оговорённых масштабов продукта. Поэтому нельзя объявлять весь рабочий комплект безусловно разрешённым для любого коммерческого использования только по лицензии основного GGUF. Перед внедрением проверяйте лицензию каждого компонента и свой сценарий использования. s1 s2 s6 s9 s10

Кому это полезно. Это воспроизводимый исследовательский пример того, как добавить маленькой локальной модели внешний источник параметризованной памяти, сохраняя несколько вариантов квантизации. Для обычной установки «скачал один GGUF и запустил» он пока не подходит: нужен специальный форк, крупный sidecar и отдельная проверка полезности на собственных задачах. Зрение и MTP в этом runtime не подтверждены. s1 s2 s5