Swift 1.5 27B получил GGUF-квантизации GSQ-RCO: четыре уровня и MTP-варианты

Что вышло

24 сентября 2026 года UkisAI разместила отдельный репозиторий Swift 1.5 Qwen3.8-27B · GSQ-RCO. В закреплённой ревизии d74895bbe5db находятся восемь GGUF-чекпойнтов: уровни IQ2_XS, IQ2_S, IQ3_XXS и IQ3_S, каждый с обычным вариантом и файлом -mtp с дополнительной MTP-головой. История репозитория фиксирует первоначальный выпуск 24 сентября; манифест перечисляет точные имена и SHA-256 файлов, а API Hugging Face подтверждает наличие всех восьми весовых файлов. Это квантизации уже существующей Swift 1.5, а не новая базовая модель. s1 s2 s3

Обычные файлы занимают 8,42; 9,26; 10,09 и 11,77 ГБ на диске соответственно. Файлы с MTP-головой — 8,77; 9,61; 10,44 и 12,12 ГБ. Это размер загрузки, не минимальная RAM/VRAM: для запуска дополнительно нужны память под KV-кеш, буферы вычислений и накладные расходы runtime. Выбор контекста и выгрузки слоёв в GPU зависит от устройства. s1 s3

Чем это полезно локально

Пакет даёт четыре ступени компромисса между размером GGUF и близостью к исходной Swift 1.5. Авторы использовали распределение типов по тензорам из работ GSQ-RCO лаборатории ISTA, собственную importance matrix для Swift и дополнительную доработку квантов. В репозитории есть рецепт и текстовые выгрузки типов тензоров: можно проверить происхождение конкретного пакета вместо того, чтобы полагаться только на название IQ-уровня. Отдельные MTP-файлы предназначены для runtime, который поддерживает MTP именно для этой модели; наличие головы само по себе не обещает прирост скорости. s1 s3

Карточка предлагает загружать, например, Swift-1.5-Qwen3.8-27B-GSQ-RCO-IQ3_XXS.gguf и запускать его в сборке llama.cpp с поддержкой Qwen3.8 через llama-server -m Swift-1.5-Qwen3.8-27B-GSQ-RCO-IQ3_XXS.gguf --jinja -fa on -ngl 99 -c 262144. Это пример автора, а не подтверждённая Modelium аппаратная конфигурация: -ngl 99 и контекст 262144 нужно подбирать под доступную память. Этот выпуск содержит языковые GGUF без проверенного vision-projector для Swift 27B; рабочий мультимодальный сценарий не заявлен. s1

Что показывают измерения — и чего не показывают

Авторы измерили KLD распределений следующего токена относительно Swift 1.5 BF16 на коротком контексте 512 токенов. Для разработки использовали WikiText-2, 100 фрагментов; отдельно опубликовали результаты на C4, CodeParrot, текстах GSM8K и mC4 (по 100 фрагментов для первых трёх доменов и по 25 для каждого языка mC4). Например, авторский KLD на кодовых текстах у IQ2_XS составляет 0,120884, а у IQ3_S — 0,035447; ниже означает меньшую дивергенцию от исходной Swift 1.5 на этих данных. Это не точность решения задач, качество кода или доказательство поведения на длинном контексте. s1 s4

При сравнении с квантами ISTA эталон BF16 другой — базовый Qwen, поэтому цифры нельзя трактовать как прямой рейтинг Swift против Qwen. Сами авторы отмечают, что на математическом тексте KLD относительно сопоставляемых ISTA-квантов выше, а MTP-генерация отдельно не проверялась. Независимых измерений или запуска Modelium не проводил. s1 s4

Лицензия и доступ

Исходный Qwen3.8-27B распространяется под Apache 2.0, но адаптированные веса Swift подпадают под Swift Open License v1.0, а не под одну только Apache 2.0. По разделу 5 коммерческое использование Swift-компонента по обычной лицензии разрешено лишь юридическим лицам, чья совокупная валовая выручка за последний завершённый финансовый год ниже 1 млн долларов США; при превышении порога нужна отдельная письменная лицензия UkisAI. Лицензия отдельно сохраняет права на базовый Qwen по Apache 2.0. Перед коммерческим развёртыванием и перераспространением производных файлов нужно проверить полный текст условий и обязанностей по NOTICE. Доступность файлов для скачивания не равна неограниченным коммерческим правам. s5 s6

Если нужен именно стек Apple Silicon/Splash, ранее вышел отдельный пакет Swift 1.5 для MLX; нынешний GSQ-RCO — другой формат, рассчитанный на совместимые сборки llama.cpp. s1 s7