POCKET-Darwin-180B: GGUF-квантизация новой ревизии R3 для llama.cpp
На странице · 4 разделов
2 октября 2026 года команда FINAL-Bench загрузила четыре GGUF-файла POCKET-Darwin-180B — текстовой квантизации новой ревизии Darwin-180B-RSI-R3 для llama.cpp. Закреплённый манифест подтверждает 111,33 ГБ файлов на диске. Это не новая базовая архитектура и не доказательство, что модель помещается в 32 ГБ RAM: скорость и качество пока представлены лишь авторскими измерениями. Условия Qwen Community License 1.0 распространяются и на эту производную модель.
Что появилось
2 октября 2026 года FINAL-Bench загрузила POCKET-Darwin-180B-GGUF — четырёхфайловую квантизацию своей модели Darwin-180B-RSI-R3 для локального текстового вывода через llama.cpp. Закреплённый манифест Hugging Face содержит все четыре части POCKET-Darwin-180B-UD-Q4_K_XL-00001-of-00004.gguf … 00004-of-00004.gguf, суммарно 111 334 654 784 байта на диске. История репозитория датирует загрузку файлов 2 октября; последующие изменения карточки не следует принимать за новые веса. s1 s2
R3 — следующая ревизия уже описанной нами Darwin-180B-RSI, а не отдельная базовая архитектура. Авторы R3 говорят, что дообучали пути внимания и общие эксперты на проверяемых задачах; маршрутизатор и routed experts не изменяли. В карточке POCKET они описывают сборку как замену 300 изменённых тензоров в раскладке Unsloth UD-Q4_K_XL на тензоры R3 с кодированием Q8_0; остальные байты, по заявлению авторов, совпадают с родительской GGUF-сборкой. Это описание метода автора, а не наша побайтовая проверка 111-гигабайтного пакета. s3 s4
Что это меняет для локального запуска
Пользователь получает опубликованные GGUF-файлы R3 и может пробовать их в совместимой сборке llama.cpp без развёртывания исходного BF16-чекпойнта. Автор указывает llama.cpp b11048 или новее и даёт пример запуска llama-server -m POCKET-Darwin-180B-UD-Q4_K_XL-00001-of-00004.gguf -ngl 0 -t 16 -c 8192 --jinja --load-mode none для CPU. Скачивайте все четыре части из одной закреплённой ревизии; запуск и совместимость на вашей машине здесь не тестировались. Эта сборка текстовая: vision encoder в неё не включён, хотя исходный R3 помечен как мультимодальный. s1 s3
Автор приводит пример ноутбука с 8 ГБ VRAM и 32 ГБ RAM, где, по его словам, модель отображается из SSD и выдаёт 4,17 токена/с. Отдельный авторский CPU-прогон заявляет пиковое потребление 78,8 ГБ RAM и 18,4–21,0 токена/с на AMD EPYC 9365 при иных условиях; заявленные цифры не являются универсальным минимумом памяти или ожидаемой скоростью. Не выводите из 111,33 ГБ размера файлов требование к RAM/VRAM и не планируйте развёртывание по одному рекламному примеру: контекст, offload, режим загрузки и накопитель меняют результат. s1
Как читать сравнения качества
Авторы заявляют одинаковую точность 87,65% для GGUF в llama.cpp и R3 BF16 в vLLM на 2 000 выбранных по хешу ID вопросах MMLU-Pro, 0-shot CoT, temperature 1, top-p 0,95, top-k 20, seed 7; указан парный 95%-й интервал разницы от −0,95 до +1,00 процентного пункта. Это их оценка на конкретной выборке и настройках, а не доказательство нулевой потери качества на любых задачах. Отдельные результаты исходного R1 на полном MMLU-Pro или других датасетах нельзя приписывать этому GGUF. Modelium не проводил собственный сравнительный тест. s1 s3
Лицензия и выбор
Веса доступны для скачивания, но Qwen Community License 1.0 — не Apache 2.0 и не безусловное разрешение на всякое коммерческое размещение. Приложенный LICENSE совпадает с лицензией исходного Qwen3.8-Flash-Next: коммерческое использование в целом допускается при выполнении условий, а для коммерческого Model-as-a-Service и AI Work Assistant требуется отдельная лицензия Qwen; для крупных продуктов также предусмотрена атрибуция названия. Перед размещением API для клиентов проверьте полный текст. s1 s5
Если нужен локальный текстовый вариант R3, начните с закреплённых четырёх GGUF-частей и проверьте запуск и качество на собственных задачах. Если нужна исходная BF16-модель, мультимодальность или воспроизводимый baseline авторских сравнений, изучите официальный R3-чекпойнт отдельно. Описание первой Darwin-180B-RSI относится к R1 и не подтверждает автоматически показатели этой GGUF-сборки. s1 s3
Источники
- FINAL-Bench: POCKET-Darwin-180B-GGUF, карточка, лицензия и четыре файла на закреплённой ревизии — Полный API-манифест четырёх GGUF: 111334654784 байта; оценки скорости и качества — заявления авторов, не воспроизведены.. Получено 02.10.2026.
- Hugging Face: история загрузки POCKET-Darwin-180B-GGUF. Получено 02.10.2026.
- FINAL-Bench: Darwin-180B-RSI-R3, карточка исходной ревизии — Карточка R3 различает новую ревизию и прежние leaderboard-результаты R1.. Получено 02.10.2026.
- Unsloth: GGUF-раскладка Qwen3.8-Flash-Next UD-Q4_K_XL — Существование исходной четырёхчастной раскладки подтверждено; побайтовое происхождение производной не проверено.. Получено 02.10.2026.
- Qwen3.8-Flash-Next: оригинальная Qwen Community License 1.0 — Текст совпадает с приложенной POCKET-лицензией; условия коммерческих Model-as-a-Service и AI Work Assistant обязательны.. Получено 02.10.2026.