# Parallax 8B kappa: тернарный GGUF для локального запуска на CPU и Metal

Источник: https://modelium.tech/zhurnal/parallax-8b-kappa-ternary-gguf-cpu-metal/

30 сентября 2026 года авторы добавили готовый GGUF для промежуточного чекпойнта Parallax 8B kappa после 408,5 млрд обучающих токенов. Файл доступен для локальных экспериментов с выделенным llama-parallax в публичном форке llama.cpp на CPU или Apple Metal. Это базовая модель без настройки на инструкции, а не готовый чат-ассистент; обычные llama-cli и llama-server её не поддерживают.

Parallax 8B kappa: тернарный GGUF для локального запуска на CPU и Metal

30 сентября авторы Parallax выложили подготовленный GGUF-файл промежуточного чекпойнта **8B kappa** после 408,5 млрд обучающих токенов. История Hugging Face показывает отдельный коммит с GGUF в 22:06 UTC; созданный ранее репозиторий и его более поздние ежечасные экспорты — не то же событие. Это шанс исследовать необычную тернарную MoE-архитектуру локально, но не выпуск готового ассистента. [s1](#src-s1) [s2](#src-s2)

## Что именно доступно

В закреплённой ревизии лежит `parallax-8b-kappa-408B-tokens.gguf` объёмом 2 214 532 608 байт. Его LFS-идентификатор совпадает с опубликованной авторами SHA-256-строкой; мы проверили метаданные и строку контрольной суммы, **не скачивали и не хешировали весь файл самостоятельно**. Отдельно доступны native compact exports; последний на момент проверки — 412B, но готовый GGUF относится к **408B**, шагу 29 319. Не подменяйте один снимок другим при сравнении результатов. Размер файла не означает минимальную потребность в RAM или VRAM. [s1](#src-s1) [s3](#src-s3) [s4](#src-s4)

По карточке авторов, это базовая MoE-модель: около 7,8 млрд параметров всего и примерно 1,25 млрд активных на токен; веса маршрутизируемых экспертов представлены тернарными значениями. Обучение ещё идёт. Модель продолжает текст, а не следует инструкциям, и не прошла chat- или safety-настройку. Карточка помечает чекпойнты как исследовательские, не для production. [s1](#src-s1)

## Какой runtime нужен

**Обычный llama.cpp здесь не подходит.** Публичный форк `chutesai/llama.cpp` предоставляет отдельный бинарник `llama-parallax`, а не поддержку через `llama-cli` или `llama-server`. Документация форка заявляет запуск на x86-64/ARM64 CPU и на Apple GPU через Metal; это описание возможностей автора, не результат теста Modelium. Сборка CPU-варианта из закреплённого коммита: [s5](#src-s5)

git clone https://github.com/chutesai/llama.cppcd llama.cppgit checkout a635ea5263aedbb38ef888e587e4f3bbbbef562ccmake -S . -B build-cpu -DCMAKE_BUILD_TYPE=Release -DGGML_METAL=OFF -DLLAMA_BUILD_TESTS=OFFcmake --build build-cpu --target llama-parallax -j 8build-cpu/bin/llama-parallax --backend cpu --self-test

Готовый GGUF можно получить через `hf download` с закреплённой ревизией: [s1](#src-s1) [s3](#src-s3)

hf download chutesai/parallax-8b-kappa parallax-8b-kappa-408B-tokens.gguf --revision 3524e3185f15d455028980a60db3be794be861f4 --local-dir ./weights

Для текстового ввода авторский `tools/parallax/run.py` дополнительно требует **Llama 3 **`**tokenizer.json**` (получать его следует отдельно при наличии законного доступа и с соблюдением его условий); указать собственный путь в `--tokenizer`. На Mac сборка использует `-DGGML_METAL=ON`, а вызов — `--backend metal`; проверяйте README именно закреплённого форка. Мы не запускали модель и не подтверждаем скорость или качество на конкретном устройстве. [s5](#src-s5)

## Как читать авторские цифры

Для снимка 408B авторская карточка приводит `val_mix` 2,130 nats/token и средние баллы 52,8% для zero-shot по **11** заданиям и 57,8% для five-shot по **10**: LAMBADA в последнем наборе нет. Это результаты собственного scorer проекта с тернарными экспертами и специальной обработкой переносов строк, не независимый бенчмарк и не прямое сравнение с чужими leaderboard. Измерения точности самого runtime в README форка проведены на другом, раннем чекпойнте (шаг 6 251); переносить их на качество нынешнего GGUF нельзя. [s1](#src-s1) [s5](#src-s5)

## Права и практический вывод

Карточка весов маркирует модель **MIT**, форк runtime содержит MIT LICENSE. Это две отдельные декларации; для стороннего Llama 3 tokenizer условия нужно проверять отдельно. Открыто опубликованные веса и исходники форка не делают модель автоматически безопасной или подходящей для коммерческого продукта. Если нужен локальный чат или production API, этот исследовательский base-чекпойнт пока не тот выбор. Если цель — исследовать тернарные эксперты и распределённое обучение, начинайте с 408B GGUF и выделенного `llama-parallax`, фиксируя ревизии и результаты собственных запусков. [s1](#src-s1) [s5](#src-s5) [s6](#src-s6)

## Источники

1. [Parallax 8B kappa — закреплённая карточка модели](https://huggingface.co/chutesai/parallax-8b-kappa/blob/3524e3185f15d455028980a60db3be794be861f4/README.md) — получено 2026-09-30
2. [Hugging Face — история коммитов Parallax 8B kappa](https://huggingface.co/chutesai/parallax-8b-kappa/commits/main) — получено 2026-09-30
3. [Hugging Face API — корневое дерево закреплённой ревизии](https://huggingface.co/api/models/chutesai/parallax-8b-kappa/tree/3524e3185f15d455028980a60db3be794be861f4) — получено 2026-09-30
4. [Parallax — export_info для 408B чекпойнта](https://huggingface.co/chutesai/parallax-8b-kappa/blob/3524e3185f15d455028980a60db3be794be861f4/exports/408B-tokens_step29319/export_info.json) — получено 2026-09-30
5. [chutesai/llama.cpp — документация выделенного llama-parallax](https://github.com/chutesai/llama.cpp/blob/a635ea5263aedbb38ef888e587e4f3bbbbef562c/tools/parallax/README.md) — получено 2026-09-30
6. [chutesai/llama.cpp — LICENSE закреплённого форка](https://github.com/chutesai/llama.cpp/blob/a635ea5263aedbb38ef888e587e4f3bbbbef562c/LICENSE) — получено 2026-09-30