DeepSeek-V4.1-Flash-1017: три GGUF-квантизации GSQ-RCO и риск при запуске

Что именно доступно?

Для DeepSeek-V4.1-Flash-1017 выложены три варианта GSQ-RCO: IQ1_M (231,32 ГБ), IQ2_XXS (248,84 ГБ) и IQ2_XS (265,83 ГБ) в сумме с общим файлом Engram. Это размеры файлов по карточке авторов, а не требования к оперативной или видеопамяти. GSQ отвечает за сжатие чисел модели, RCO распределяет степень сжатия между её частями. Исходные веса выпустила DeepSeek, ISTA подготовила их конверсии — это не новая базовая модель. s1 s3

У каждого варианта пять собственных частей с именем «of-00006». Это не недостающая загрузка: шестая часть — один общий файл Engram для всех трёх вариантов. Чтобы программа увидела комплект, этому файлу нужно дать имя шестой части выбранного варианта через ссылку, как объясняет авторская карточка. Есть также отдельный файл для работы с изображениями. Не смешивайте части разных вариантов. s1 s2

Что изменилось для локального запуска?

Сборка llama.cpp b11870 от 25 октября добавила поддержку семейства DeepSeek-V4.1; 27 октября ISTA обновила именно эти GGUF-файлы под формат программы. Если скачали старую версию, у авторов есть конвертер, который перестраивает локальные файлы; перед его применением проверьте свободное место и резервную копию. Это путь для подготовленного пользователя, а не проверенная Modelium инструкция для домашнего компьютера. s1 s2 s4

В карточке авторы показывают запуск через Strata на NVIDIA-карте с 12 ГБ видеопамяти, но не указывают минимальную оперативную память для этого сценария. Число 12 ГБ нельзя переносить на требования к любому компьютеру или к обычному запуску через llama.cpp. Сначала оцените доступное место и ограничения вашего оборудования, а не только объём видеопамяти. s1

Насколько надёжны оценки и работа программы?

По данным авторов, вариант IQ2_XXS получил такую же среднюю оценку, как исходная модель, на трёх выбранных испытаниях AIME25, GPQA-Diamond и LiveCodeBench v6 при заданном уровне рассуждения 50. Это не независимая проверка, не гарантия качества на русском языке или ваших документах. Modelium эти веса не запускал. s1

В открытом обсуждении llama.cpp пользователи воспроизвели ошибки ответов на других GGUF той же семьи DeepSeek-V4.1 при повторном использовании частей запроса, в том числе при параллельной работе. Исправление обсуждается, но на дату проверки сообщение остаётся открытым. Нельзя утверждать, что ошибка обязательно возникает на вариантах ISTA, однако для важных текстов ответы следует сверять с оригиналом и не считать поддержку формата подтверждением безошибочной работы. s5 s6

Веса исходной модели и метка производного репозитория — MIT; код исследовательских инструментов GSQ и RCO опубликован отдельно под Apache-2.0. Лицензия весов не подтверждает, что конкретная программа запуска отработает у вас, а условия других инструментов проверяйте отдельно. Если нужна отправная точка, откройте разбор исходной DeepSeek-V4.1-Flash-1017; к этой квантовке возвращайтесь после проверки памяти и исправлений программы. s1 s3 s7