Parallax 8B kappa: тернарный GGUF для локального запуска на CPU и Metal

Что именно доступно

В закреплённой ревизии лежит parallax-8b-kappa-408B-tokens.gguf объёмом 2 214 532 608 байт. Его LFS-идентификатор совпадает с опубликованной авторами SHA-256-строкой; мы проверили метаданные и строку контрольной суммы, не скачивали и не хешировали весь файл самостоятельно. Отдельно доступны native compact exports; последний на момент проверки — 412B, но готовый GGUF относится к 408B, шагу 29 319. Не подменяйте один снимок другим при сравнении результатов. Размер файла не означает минимальную потребность в RAM или VRAM. s1 s3 s4

По карточке авторов, это базовая MoE-модель: около 7,8 млрд параметров всего и примерно 1,25 млрд активных на токен; веса маршрутизируемых экспертов представлены тернарными значениями. Обучение ещё идёт. Модель продолжает текст, а не следует инструкциям, и не прошла chat- или safety-настройку. Карточка помечает чекпойнты как исследовательские, не для production. s1

Какой runtime нужен

Обычный llama.cpp здесь не подходит. Публичный форк chutesai/llama.cpp предоставляет отдельный бинарник llama-parallax, а не поддержку через llama-cli или llama-server. Документация форка заявляет запуск на x86-64/ARM64 CPU и на Apple GPU через Metal; это описание возможностей автора, не результат теста Modelium. Сборка CPU-варианта из закреплённого коммита: s5

git clone https://github.com/chutesai/llama.cpp
cd llama.cpp
git checkout a635ea5263aedbb38ef888e587e4f3bbbbef562c
cmake -S . -B build-cpu -DCMAKE_BUILD_TYPE=Release -DGGML_METAL=OFF -DLLAMA_BUILD_TESTS=OFF
cmake --build build-cpu --target llama-parallax -j 8
build-cpu/bin/llama-parallax --backend cpu --self-test

Готовый GGUF можно получить через hf download с закреплённой ревизией: s1 s3

hf download chutesai/parallax-8b-kappa parallax-8b-kappa-408B-tokens.gguf --revision 3524e3185f15d455028980a60db3be794be861f4 --local-dir ./weights

Для текстового ввода авторский tools/parallax/run.py дополнительно требует Llama 3 tokenizer.json (получать его следует отдельно при наличии законного доступа и с соблюдением его условий); указать собственный путь в --tokenizer. На Mac сборка использует -DGGML_METAL=ON, а вызов — --backend metal; проверяйте README именно закреплённого форка. Мы не запускали модель и не подтверждаем скорость или качество на конкретном устройстве. s5

Как читать авторские цифры

Для снимка 408B авторская карточка приводит val_mix 2,130 nats/token и средние баллы 52,8% для zero-shot по 11 заданиям и 57,8% для five-shot по 10: LAMBADA в последнем наборе нет. Это результаты собственного scorer проекта с тернарными экспертами и специальной обработкой переносов строк, не независимый бенчмарк и не прямое сравнение с чужими leaderboard. Измерения точности самого runtime в README форка проведены на другом, раннем чекпойнте (шаг 6 251); переносить их на качество нынешнего GGUF нельзя. s1 s5

Права и практический вывод

Карточка весов маркирует модель MIT, форк runtime содержит MIT LICENSE. Это две отдельные декларации; для стороннего Llama 3 tokenizer условия нужно проверять отдельно. Открыто опубликованные веса и исходники форка не делают модель автоматически безопасной или подходящей для коммерческого продукта. Если нужен локальный чат или production API, этот исследовательский base-чекпойнт пока не тот выбор. Если цель — исследовать тернарные эксперты и распределённое обучение, начинайте с 408B GGUF и выделенного llama-parallax, фиксируя ревизии и результаты собственных запусков. s1 s5 s6