RAG-Gate-27B решает, хватает ли документов для ответа

Что модель делает на практике?

RAG — это поиск нужных фрагментов в документах перед тем, как языковая модель пишет ответ. RAG-Gate стоит между поиском и ответом: получает вопрос, найденные фрагменты и признак, можно ли искать дальше. По замыслу авторов, она возвращает Answer, если фактов достаточно; Retrieve, если надо искать ещё; Stop, если данных недостаточно и новый поиск невозможен. Сама RAG-Gate не ищет документы и не составляет итоговый ответ: для этого нужны отдельные компоненты. s1

Пример для понимания, не результат нашего запуска: если вопрос спрашивает дату подписания договора, а найденный черновик не содержит подписи и даты, безопасный следующий шаг — продолжить поиск по другим документам. Если искать больше негде, лучше сообщить о нехватке подтверждения, чем додумать дату. Это иллюстрация назначений Retrieve и Stop, а не обещание, что модель всегда выберет их правильно. s1

Что доступно для локального запуска?

Авторы ThakiCloud выложили объединённые веса на основе Qwen3.8-27B: все 12 частей Safetensors и индекс присутствуют в закреплённой версии. Карточка и файл LICENSE указывают Apache 2.0; эта лицензия допускает коммерческое применение при соблюдении её условий. s1 s2 s3

Отдельный участник Hugging Face опубликовал 11 GGUF-квантов — варианты файлов с уменьшенной точностью хранения весов для совместимых локальных программ. У пакета есть пометка Apache 2.0 и ссылка на исходную модель, но отдельного LICENSE-файла в нём нет. Карточка GGUF не приводит измерений точности решений после конверсии: результаты исходной версии нельзя автоматически переносить на эти файлы. Размер выбранного файла — не требование к оперативной или видеопамяти, а аппаратный минимум для этого пакета автор не установил. s4 s5

Для первого осмысленного результата разработчику потребуется уже работающий поиск по своим документам, затем чтение вероятностей трёх действий по инструкции автора на исходной модели. Это инструкция по документации, не воспроизведённый Modelium запуск. Простой запуск GGUF в обычном чате не равен проверенному способу считывать эти вероятности; готового домашнего рецепта мы здесь не обещаем. s1 s4

Насколько хорошо это работает по данным авторов?

Авторы сообщили о точности выбора действия 93,8% против 78,9% у исходной Qwen3.8-27B без дообучения, но с тем же запросом. Их тест включал 14 818 случаев на основе 2 256 разных вопросов с несколькими шагами поиска. Доля ответов при недостатке подтверждений, по их измерениям, составила 5,5%, а доля отказов при достаточных подтверждениях — 7,1%. Это не независимый тест и не оценка GGUF-вариантов. s1

Главные ограничения: оценивали англоязычные вопросы на материале, построенном из MuSiQue; рабочие документы компаний, русский язык, таблицы и код авторы не проверяли. Даже внутренне связный, но ложный фрагмент может быть признан достаточным: модель оценивает полноту доказательств, а не их истинность. Восьмерку тестовых случаев длиннее 2 048 токенов исключили; на длинных входах заявленных результатов нет. Авторы сами отмечают, что их дополнительная проверка ChainCheck не полностью независима от приёмов дообучения. s1

Следующий шаг: если вы только знакомитесь с поиском по своим файлам, сначала разберитесь, как работает RAG. RAG-Gate нужна лишь тогда, когда сам поиск уже настроен и вы можете отдельно проверять, когда система должна ответить или воздержаться.

Источники и версии проверены 8 октября 2026 года; модель Modelium не запускал.