# RWKV-7 G1k 1.5B и 13.3B: два новых размера базовой модели для Transformers

Источник: https://modelium.tech/zhurnal/rwkv7-g1k-15b-133b-base-transformers/

30 сентября RWKV добавила к ранее опубликованному G1k 7.2B два новых базовых чекпойнта: 1.5B и 13.3B. Оба доступны в BF16 Safetensors с полными индексами, кодом Transformers и локальным inference-пакетом; лицензия весов и пакета указана как Apache-2.0. Это выбор масштаба для исследований и дообучения, а не проверенная замена чат-ассистенту. Modelium модели не запускал.

RWKV-7 G1k: теперь 1.5B и 13.3B в дополнение к 7.2B

30 сентября 2026 года официальное пространство RWKV разместило **RWKV7-G1k-13.3B-20260930** в 15:12 UTC и **RWKV7-G1k-1.5B-20260930** в 15:30 UTC. Это два новых размера того же базового семейства RWKV-7 Goose; выпуск 7.2B мы уже описали отдельно. Дата здесь относится к созданию репозиториев, а не к независимой проверке качества или скорости. [s1](#src-s1) [s2](#src-s2)

## Что действительно опубликовано

В закреплённых ревизиях 1.5B лежат четыре, а 13.3B — 28 шардов `.safetensors`; их перечни совпадают с индексами `model.safetensors.index.json` и списками в релизных манифестах. Там же находятся конфигурация RWKV-7, токенизатор, чат-шаблон, Python-код для Transformers и папка `inference/` для локального запуска. Исходные `.pth`-чекпойнты обоих размеров также присутствуют у BlinkDL. Конверсия сохраняет BF16 и, по манифестам авторов, не добавляет синтетических тензоров. Это открытые веса и опубликованный код, **не** результаты запуска Modelium. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s4](#src-s4) [s5](#src-s5)

Метки 1.5B и 13.3B соответствуют соответственно 1 527 668 736 и 13 270 298 624 сериализованным параметрам. Авторы указывают тренировочный контекст **25 600 токенов** для обоих. Меньший размер удобнее как первая исследовательская точка для оценки или дообучения; больший расширяет выбор масштаба. Мы не утверждаем превосходства качества одного над другим: карточки не предоставляют сопоставимого benchmark. Размер весов на диске нельзя превращать в минимальное требование к RAM или VRAM. [s3](#src-s3) [s4](#src-s4)

## Локальный путь и ограничения

В карточках описан Transformers 5.15+ с `trust_remote_code=True`: до загрузки проверьте исполняемые файлы в **закреплённой ревизии**, а не доверяйте изменяемому `main`. Для интерактивного инференса автор приводит команду `python inference/generate.py --model RWKV/RWKV7-G1k-1.5B-20260930 --backend auto --interactive` после установки зависимостей из `inference/requirements.txt`; для 13.3B замените ID модели. Режим `auto` может перейти на PyTorch fallback, а ускоренный TileLang требует отдельной проверки численной эквивалентности на выбранных устройстве и конфигурации. Это инструкция автора, не исполненный нами тест. [s3](#src-s3) [s4](#src-s4) [s6](#src-s6)

Оба чекпойнта авторы называют **base model**: даже с чат-шаблоном они не заявлены как безопасные instruction-tuned ассистенты. Для прикладного чата проверьте на собственных задачах формат промпта, корректность ответов и ограничения до продакшена. Для безопасного сравнения загрузите сначала закреплённый 1.5B, затем решайте, оправдан ли переход на 7.2B или 13.3B; совместимость и фактическую память измеряйте на своей машине. [s3](#src-s3) [s4](#src-s4)

## Лицензия

Карточки и манифесты обозначают веса Apache-2.0; отдельный файл LICENSE содержит текст Apache License 2.0, а NOTICE указывает происхождение исходных чекпойнтов и лицензию экспортированного inference-кода. Это позволяет обсуждать коммерческое использование в рамках условий Apache-2.0, но не снимает обязанность соблюдать уведомления и проверять лицензии сторонних зависимостей или используемых данных. [s3](#src-s3) [s4](#src-s4) [s7](#src-s7)

Итог: новость не о новой архитектуре и не о доказанном ускорении, а о **двух дополнительных полноценных размерах** официального RWKV-7 G1k для локальной оценки и дообучения. Начните с закреплённых карточек и выберите масштаб после измерения собственного сценария. [s1](#src-s1) [s2](#src-s2)

## Источники

1. [RWKV: API закреплённой модели G1k 1.5B и полный перечень файлов](https://huggingface.co/api/models/RWKV/RWKV7-G1k-1.5B-20260930/revision/4923bf404162999e336cb32289d8a9f93ad83de3) — получено 2026-09-30
2. [RWKV: API закреплённой модели G1k 13.3B и полный перечень файлов](https://huggingface.co/api/models/RWKV/RWKV7-G1k-13.3B-20260930/revision/ce3630b854cedbd673569f4600c6cf744bca9dba) — получено 2026-09-30
3. [RWKV: карточка и инструкция G1k 1.5B](https://huggingface.co/RWKV/RWKV7-G1k-1.5B-20260930/blob/4923bf404162999e336cb32289d8a9f93ad83de3/README.md) — получено 2026-09-30
4. [RWKV: карточка и инструкция G1k 13.3B](https://huggingface.co/RWKV/RWKV7-G1k-13.3B-20260930/blob/ce3630b854cedbd673569f4600c6cf744bca9dba/README.md) — получено 2026-09-30
5. [RWKV: манифест G1k 13.3B и происхождение весов](https://huggingface.co/RWKV/RWKV7-G1k-13.3B-20260930/blob/ce3630b854cedbd673569f4600c6cf744bca9dba/release-manifest.json) — получено 2026-09-30
6. [RWKV: зависимости локального inference-пакета](https://huggingface.co/RWKV/RWKV7-G1k-1.5B-20260930/blob/4923bf404162999e336cb32289d8a9f93ad83de3/inference/requirements.txt) — получено 2026-09-30
7. [RWKV: текст Apache License 2.0 для выпуска 1.5B](https://huggingface.co/RWKV/RWKV7-G1k-1.5B-20260930/blob/4923bf404162999e336cb32289d8a9f93ad83de3/LICENSE) — получено 2026-09-30