RWKV-7 G1k 1.5B и 13.3B: два новых размера базовой модели для Transformers

RWKV-7 G1k: теперь 1.5B и 13.3B в дополнение к 7.2B

30 сентября 2026 года официальное пространство RWKV разместило RWKV7-G1k-13.3B-20260930 в 15:12 UTC и RWKV7-G1k-1.5B-20260930 в 15:30 UTC. Это два новых размера того же базового семейства RWKV-7 Goose; выпуск 7.2B мы уже описали отдельно. Дата здесь относится к созданию репозиториев, а не к независимой проверке качества или скорости. s1 s2

Что действительно опубликовано

В закреплённых ревизиях 1.5B лежат четыре, а 13.3B — 28 шардов .safetensors; их перечни совпадают с индексами model.safetensors.index.json и списками в релизных манифестах. Там же находятся конфигурация RWKV-7, токенизатор, чат-шаблон, Python-код для Transformers и папка inference/ для локального запуска. Исходные .pth-чекпойнты обоих размеров также присутствуют у BlinkDL. Конверсия сохраняет BF16 и, по манифестам авторов, не добавляет синтетических тензоров. Это открытые веса и опубликованный код, не результаты запуска Modelium. s1 s2 s3 s4 s5

Метки 1.5B и 13.3B соответствуют соответственно 1 527 668 736 и 13 270 298 624 сериализованным параметрам. Авторы указывают тренировочный контекст 25 600 токенов для обоих. Меньший размер удобнее как первая исследовательская точка для оценки или дообучения; больший расширяет выбор масштаба. Мы не утверждаем превосходства качества одного над другим: карточки не предоставляют сопоставимого benchmark. Размер весов на диске нельзя превращать в минимальное требование к RAM или VRAM. s3 s4

Локальный путь и ограничения

В карточках описан Transformers 5.15+ с trust_remote_code=True: до загрузки проверьте исполняемые файлы в закреплённой ревизии, а не доверяйте изменяемому main. Для интерактивного инференса автор приводит команду python inference/generate.py --model RWKV/RWKV7-G1k-1.5B-20260930 --backend auto --interactive после установки зависимостей из inference/requirements.txt; для 13.3B замените ID модели. Режим auto может перейти на PyTorch fallback, а ускоренный TileLang требует отдельной проверки численной эквивалентности на выбранных устройстве и конфигурации. Это инструкция автора, не исполненный нами тест. s3 s4 s6

Оба чекпойнта авторы называют base model: даже с чат-шаблоном они не заявлены как безопасные instruction-tuned ассистенты. Для прикладного чата проверьте на собственных задачах формат промпта, корректность ответов и ограничения до продакшена. Для безопасного сравнения загрузите сначала закреплённый 1.5B, затем решайте, оправдан ли переход на 7.2B или 13.3B; совместимость и фактическую память измеряйте на своей машине. s3 s4

Лицензия

Карточки и манифесты обозначают веса Apache-2.0; отдельный файл LICENSE содержит текст Apache License 2.0, а NOTICE указывает происхождение исходных чекпойнтов и лицензию экспортированного inference-кода. Это позволяет обсуждать коммерческое использование в рамках условий Apache-2.0, но не снимает обязанность соблюдать уведомления и проверять лицензии сторонних зависимостей или используемых данных. s3 s4 s7

Итог: новость не о новой архитектуре и не о доказанном ускорении, а о двух дополнительных полноценных размерах официального RWKV-7 G1k для локальной оценки и дообучения. Начните с закреплённых карточек и выберите масштаб после измерения собственного сценария. s1 s2