T-Search: исследование русскоязычного многошагового поиска и локальные GGUF

Что делает модель

T-Search обучена на базе Qwen3.6-35B-A3B. Получив вопрос, она через предоставленный ей инструмент ищет фрагменты в заданном индексе, сохраняет полезные находки между раундами и возвращает ранжированный список доказательств. Генерацию окончательного ответа нужно поручить отдельному компоненту. Официальный harness реализует три действия — search_corpus, save_and_advance, finalize_ranking — и по умолчанию ограничивает результат десятью фрагментами. Это не универсальный веб-поисковик «из коробки» и не замена собственной базе документов. s1 s2 s4

Практический сценарий — закрытый или локально индексированный русскоязычный архив, в котором ответ складывается из нескольких документов: подключить существующий BM25 либо векторный поиск, передать его результаты harness и уже затем использовать выбранные фрагменты для ответа с проверкой источников. Сам harness требует ваш поисковый backend: метод search(query, top_k) возвращает JSON-список с docid, snippet и score; готового индекса вашего корпуса пакет не предоставляет. s4

Что реально доступно локально

Публичный BF16-чекпойнт содержит 14 пронумерованных шардов Safetensors, индекс весов и отдельный MTP-файл. В официальном GGUF-репозитории есть Q4_K_M, Q5_K_M, Q6_K и Q8_0. Авторы указывают, что MTP встроен в каждый GGUF, и приводят референсный запуск через llama-server с шаблоном чата и structured tool calls; для BF16 карточка приводит конфигурацию SGLang. Это варианты для собственной инфраструктуры, а не результаты теста Modelium. Размер GGUF-файла не равен минимальной потребности в RAM или VRAM: контекст, параллелизм, KV-cache и размещение слоёв также влияют на память. s2 s3

Модель, GGUF и код harness помечены Apache-2.0; исходная Qwen3.6-35B-A3B тоже отмечена Apache-2.0. Такая лицензия допускает коммерческое использование при соблюдении её условий, но не означает, что авторы гарантируют безопасность ответов для промышленного применения. Наборы TRuST и SynthComp в работе указаны отдельно как ODC-BY; лицензию конкретного корпуса для своего пилота проверяйте независимо. s1 s2 s3 s4 s5

Что показывают замеры авторов

В семи англо- и русскоязычных тестах с фиксированными поисковыми индексами авторы сообщают средний Recall@10 55,96 при одном прогоне T-Search против 41,54 у базовой Qwen3.6-35B-A3B в их harness. Три независимых прогона с объединением ранжирования дают 61,33, но это другая конфигурация и больший объём вычислений. Русскоязычный TRuST содержит 324 вручную написанных вопроса; это не показатель качества ответа конечному пользователю и не доказательство работы на вашем корпусе. Независимого воспроизведения этих цифр Modelium не проводил. s1 s2

Карточка GGUF отдельно сравнивает одиночные прогоны при одном harness и фиксированных индексах: BF16 — 55,96, Q8_0 — 55,40, Q4_K_M — 53,61 среднего Recall@10. Не смешивайте эту таблицу с результатом 61,33 для трёх прогонов и не считайте её доказательством скорости или экономии памяти. Это замеры авторов в заявленной конфигурации, а не наша проверка на локальном устройстве. s3

С чего начать проверку

1. Выберите официальный BF16-чекпойнт либо один из четырёх GGUF по формату вашего runtime. Закрепите ревизии модели и harness, а для GGUF сопоставьте версию llama.cpp с указанным авторами b10068 или новее. s2 s3 s4
2. Настройте собственный поисковый индекс и адаптер по контракту harness; возвращайте короткие фрагменты с устойчивыми идентификаторами и проверяемыми URL/документами. s4
3. Запустите ретривер через OpenAI-совместимый локальный endpoint и оцените Recall@10 на своих размеченных вопросах, отдельно фиксируя число раундов, поисковый backend и стоимость обработки. Команды из карточки служат исходной конфигурацией автора, а не измеренной рекомендацией Modelium для конкретного железа. s2 s3 s4

Вывод: работа полезна тем, кто строит многошаговый поиск по русскоязычным документам и готов поддерживать индекс и агентный цикл. Для простого поиска по одному фрагменту сначала сравните с обычным BM25 или эмбеддинг-ретривером: специализированная модель и несколько раундов не обязательно оправданы. s1 s4