UltraBERT 150M и 380M: новые модели для локального поиска по тексту

Что именно выпустили

UltraBERT-150M и UltraBERT-380M — базовые энкодеры: программы-модели, которые читают текст целиком и превращают его в представление для дальнейшей задачи. Чтобы приспособить базовую версию к классификации или поиску, обычно требуется дополнительная настройка. Третья, UltraBERT-Embed-150M, уже подготовлена для сравнения текста и поиска. Все три репозитория содержат файлы model.safetensors; карточки указывают английский язык и Apache-2.0. Файлы появились 10 октября, а публичная статья авторов о выпуске датирована 14 октября — дату обновления карточки не выдаём за дату загрузки весов. s1 s2 s3 s4

Представьте папку английских заметок о поездке. По запросу «where did I save the train ticket?» поисковая модель может помочь ранжировать заметки по смысловой близости; затем человек открывает найденный файл и проверяет билет. Эта модель сама не извлечёт достоверную дату из документа и не ответит вместо человека. Для русского архива её пригодность из опубликованных английских оценок не следует. s2

Что показывают проверки авторов

По данным команды DMIS, подготовленная поисковая версия получила 67,24 среднего балла на 41 задании набора тестов MTEB English v2 и принимает до 32 768 токенов за раз. Токен — это часть слова или знак, на которые программа делит текст. Карточка отдельно приводит среднее 73,30 на 12 заданиях для поиска по коду. Это разные наборы тестов; ни одно число не означает процент правильных ответов на ваших файлах. У базовых моделей авторы измеряли классификацию и поиск после дообучения под каждую задачу: эти результаты нельзя приписывать готовым весам UltraBERT-Embed без оговорки. Редакция Modelium модель не запускала и измерения не воспроизводила. s1 s2 s5

Кому стоит обратить внимание, а кому пока подождать

Если вы уже собираете локальный поиск по английским текстам, готовая Embed-версия — кандидат для сравнения с вашей текущей моделью. Авторы документируют работу через Python с sentence-transformers не ниже 6.0 и transformers не ниже 5; для загрузки требуется trust_remote_code=True, то есть разрешение выполнить код из репозитория модели. Изучите его перед запуском и закрепите проверенную ревизию. Для новичка, который хочет просто открыть приложение и искать по файлам, готового интерфейса в этом выпуске не предложено. Требования к оперативной или видеопамяти для домашнего компьютера авторы не приводят; длина контекста не обещает, что любой компьютер обработает длинный файл целиком. s1 s2

О правах: карточки трёх репозиториев помечены apache-2.0, но в их деревьях нет отдельного файла LICENSE. Общедоступный GitHub-репозиторий команды с кодом обучения поисковой версии также не содержит LICENSE, хотя анонс называет весь выпуск Apache-2.0. Поэтому метку весов не следует автоматически переносить на отдельный код обучения и утверждать, что все компоненты имеют одинаковые условия. Перед коммерческим использованием кода уточните права именно на нужный репозиторий. s1 s2 s3 s4 s6

Следующий шаг для поиска по своим файлам — посмотреть другой локальный вариант поиска и сравнить поддержку языка и требуемую программу, а не выбирать победителя по одному авторскому рейтингу. s7