Перейти к содержанию
modelium.
Начать с задачи
←
Новость

Underdog Saluki 27B: компактный GGUF для локального ИИ-помощника

На странице · 3 разделов

8 октября опубликован Underdog Saluki 27B 1.0 — сжатый файл модели для локального запуска через llama.cpp. Автор делает упор на выбор действий ИИ-помощником; это не обещание безошибочной работы. Основной файл занимает около 7,9 ГБ на диске, но необходимая оперативная или видеопамять отдельно не установлена.

Underdog Saluki 27B: компактный GGUF для локального ИИ-помощника

Проверено по источникам 8 октября 2026 года; версия 1.0. Представьте помощника, которому нужно не просто написать ответ, а выбрать действие: например, открыть подходящий файл календаря перед составлением плана. Автор Underdog Saluki 27B выпустил сжатую версию Qwen3.8-27B для таких задач и разместил файл весов, который можно загрузить на свой компьютер. Факт наличия файла проверен; то, насколько надёжно помощник выберет действие у вас, редакция не тестировала. s1 s2

Что именно появилось?

В репозитории ConwayResearch 8 октября появился Underdog Saluki 27B 1.0: один файл модели в формате GGUF размером 7 898 369 152 байта (около 7,9 ГБ на диске). GGUF — формат файла, который понимает программа для локального запуска llama.cpp. Сжатие весов, или квантование, уменьшает размер файла по сравнению с полной моделью; оно не делает качество одинаковым во всех задачах. Карточка называет основой Qwen3.8-27B и работу ISTA-DASLab по её сжатию. s1 s2 s3

Текст — основной сценарий. Для работы с картинками автор отдельно выложил один из двух дополнительных файлов-проекций (mmproj), которые соединяют изображение с текстовой моделью. Без такого файла не стоит ожидать обработки изображений. Размер основного файла не равен требованию к оперативной или видеопамяти; документированный минимум для вашего компьютера здесь не указан. s1 s2

Хорошо ли модель выбирает действия?

По собственному тесту разработчика, Saluki правильно прошла 88 из 120 заданий на выбор инструмента; полная Qwen3.8-27B в сравнении того же автора — 84 из 120. Для одновременного выбора нескольких действий автор приводит 42 из 100 против 35 из 100. Это небольшие тестовые выборки из заданий BFCL, а не независимое доказательство превосходства: автор сам предупреждает о разбросе и о сбоях формата примерно у пятой части параллельных ответов. Важные действия помощника нужно проверять до выполнения. s2

Что делать, если хотите попробовать локально?

Откройте закреплённую карточку Saluki и убедитесь, что на диске есть место для основного GGUF и, при необходимости, файла для изображений. Автор описывает запуск через обычный llama.cpp с шаблоном диалога, который передаёт вызовы инструментов. Это инструкция по документации автора, не воспроизведённый запуск Modelium; совместимость конкретного устройства и требования к памяти проверяйте отдельно до скачивания. s1 s2

Например, для безопасной пробы можно попросить помощника: «Выбери, какой из двух локальных инструментов — календарь или заметки — нужен для поиска встречи на завтра; ничего не изменяй». Проверять нужно выбранный инструмент и его аргументы, а не ожидать от модели заранее известного нам ответа.

Веса в репозитории помечены Apache-2.0; файл NOTICE указывает обе исходные работы. Это сведения о лицензировании конкретного набора, а не обещание, что любой сторонний набор данных или интеграция автоматически разрешены для коммерческого проекта. s3 s4 s5

Если нужен другой подход к сжатию Qwen3.8, сравните статью о Swift 1.5 GSQ-RCO. Это отдельная модель и отдельная проверка, не результат измерения Saluki.

Источники