RWKV-7 G1k 7.2B: новые базовые веса и пакет для локального Transformers
На странице · 3 разделов
30 сентября RWKV опубликовала базовый чекпойнт RWKV-7 G1k 7.2B в 15 шардах Safetensors, вместе с кодом Transformers и отдельным пакетом локального инференса. Веса и код обозначены Apache-2.0. Это база для оценки и дообучения, а не готовый безопасный чат-ассистент; совместимость ускоренного TileLang-пути зависит от конфигурации, а Modelium запуск не проверял.
RWKV-7 G1k 7.2B: что появилось для локального запуска
30 сентября 2026 года в официальном пространстве RWKV появился RWKV7-G1k-7.2B-20260930. История репозитория фиксирует публикацию в 12:02–12:03 UTC. Это базовый RWKV-7 «Goose» с заявленными 7 199 932 416 параметрами и тренировочным контекстом 25 600 токенов, а не дополнительно обученный безопасный чат-ассистент. Сопутствующий исходный чекпойнт автора BlinkDL загружен в тот же день, но ещё до конвертации. s1 s2 s3
Что доступно
Закреплённая ревизия содержит 15 файлов model-00001-of-00015.safetensors … model-00015-of-00015.safetensors, индекс, конфигурацию, токенизатор, чат-шаблон и Python-модули модели. Манифест указывает BF16 без явного приведения типа и без синтезированных тензоров при переносе из исходного .pth. Это опубликованные открытые веса, не свидетельство самостоятельного теста качества или скорости Modelium. Размеры файлов не определяют минимальные требования к оперативной или видеопамяти. s2 s3
Отдельная папка inference/ содержит интерактивный сценарий, PyTorch fallback и необязательное ускорение TileLang. Автор рекомендует Transformers 5.15+ и описывает команду python inference/generate.py --model RWKV/RWKV7-G1k-7.2B-20260930 --backend auto --interactive после установки зависимостей из inference/requirements.txt. Режим auto выбирает оптимизированный путь только для подходящих конфигураций, иначе возвращается к PyTorch; принудительный TileLang требует отдельной проверки числовой близости именно на выбранных устройстве, типе данных и форме входа. Команда приведена по карточке автора, мы её не выполняли. s1 s4
Как подходить к применению
Для эксперимента закрепите ревизию 3badfea30d122366ac56b57960ddf6fd40714fbd, изучите исполняемые файлы configuration_rwkv7.py, modeling_rwkv7.py и tokenization_rwkv7.py, прежде чем включать trust_remote_code=True. Проверьте версии библиотек, распаковку всего набора шардов, затем сравните ответы и потребление ресурсов на своих задачах. В config.json указан wkv_implementation: chunked; карточка предупреждает о возможных небольших численных расхождениях с последовательным eager из-за порядка операций. s1 s2 s4
Кому полезно: разработчикам, которым нужен локальный базовый рекуррентный чекпойнт для оценки и последующего дообучения. По заявлению автора архитектура хранит состояние фиксированного размера вместо растущего KV-cache внимания; это не обещание неограниченного качества на длинном контексте. В карточке прямо отсутствует оценка безопасности, предвзятости и достоверности, поэтому чат-шаблон сам по себе не делает модель готовой к ответственному пользовательскому продукту. s1
Права и ограничения
Метаданные репозитория помечают веса apache-2.0; в закреплённой версии есть текст Apache License 2.0 и NOTICE с происхождением исходного чекпойнта и кода. Карточка отдельно указывает Apache-2.0 для пакета инференса и сохранение заголовков этой лицензии в Transformers-модулях. Лицензия допускает коммерческое использование при соблюдении её условий, включая сохранение уведомлений; открытые веса не означают автоматически проверенного качества или безопасности. s1 s5 s3
Источники
- RWKV: карточка RWKV7-G1k-7.2B-20260930, ревизия 3badfea. Получено 30.09.2026.
- RWKV: API модели и перечень файлов закреплённой ревизии. Получено 30.09.2026.
- RWKV: манифест выпуска и исходного чекпойнта. Получено 30.09.2026.
- RWKV: зависимости пакета инференса. Получено 30.09.2026.
- RWKV: Apache License 2.0 и уведомление о происхождении. Получено 30.09.2026.