# UltraBERT 150M и 380M: новые модели для локального поиска по тексту

Источник: https://modelium.tech/zhurnal/ultrabert-150m-380m-embed-local-english-search/

14 октября команда DMIS представила UltraBERT-150M, UltraBERT-380M и поисковую UltraBERT-Embed-150M. Последняя позволяет сравнивать и искать англоязычные тексты локально после установки. Это не чат-бот и не готовое приложение: поиск требует Python, а качество на русских документах авторы не показали.

14 октября 2026 года лаборатория DMIS объявила семейство UltraBERT: две английские модели для анализа текста и отдельную UltraBERT-Embed-150M для поиска похожих фрагментов. Для владельца англоязычной коллекции документов практическая новость — готовые веса поисковой модели можно загрузить и использовать локально, без отправки текстов облачному сервису после установки. Это не чат-бот: она не пишет готовый ответ на вопрос, а помогает найти подходящий текст. [s1](#src-s1) [s2](#src-s2)

## Что именно выпустили

UltraBERT-150M и UltraBERT-380M — базовые *энкодеры*: программы-модели, которые читают текст целиком и превращают его в представление для дальнейшей задачи. Чтобы приспособить базовую версию к классификации или поиску, обычно требуется дополнительная настройка. Третья, UltraBERT-Embed-150M, уже подготовлена для сравнения текста и поиска. Все три репозитория содержат файлы `model.safetensors`; карточки указывают английский язык и Apache-2.0. Файлы появились 10 октября, а публичная статья авторов о выпуске датирована **14 октября** — дату обновления карточки не выдаём за дату загрузки весов. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s4](#src-s4)

Представьте папку английских заметок о поездке. По запросу «where did I save the train ticket?» поисковая модель может помочь ранжировать заметки по смысловой близости; затем человек открывает найденный файл и проверяет билет. Эта модель сама не извлечёт достоверную дату из документа и не ответит вместо человека. Для русского архива её пригодность из опубликованных английских оценок не следует. [s2](#src-s2)

## Что показывают проверки авторов

По данным команды DMIS, подготовленная поисковая версия получила **67,24 среднего балла на 41 задании набора тестов MTEB English v2** и принимает до 32 768 токенов за раз. Токен — это часть слова или знак, на которые программа делит текст. Карточка отдельно приводит среднее 73,30 на 12 заданиях для поиска по коду. Это разные наборы тестов; ни одно число не означает процент правильных ответов на ваших файлах. У базовых моделей авторы измеряли классификацию и поиск **после дообучения под каждую задачу**: эти результаты нельзя приписывать готовым весам UltraBERT-Embed без оговорки. Редакция Modelium модель не запускала и измерения не воспроизводила. [s1](#src-s1) [s2](#src-s2) [s5](#src-s5)

## Кому стоит обратить внимание, а кому пока подождать

Если вы уже собираете локальный поиск **по английским текстам**, готовая Embed-версия — кандидат для сравнения с вашей текущей моделью. Авторы документируют работу через Python с `sentence-transformers` не ниже 6.0 и `transformers` не ниже 5; для загрузки требуется `trust_remote_code=True`, то есть разрешение выполнить код из репозитория модели. Изучите его перед запуском и закрепите проверенную ревизию. Для новичка, который хочет просто открыть приложение и искать по файлам, готового интерфейса в этом выпуске не предложено. Требования к оперативной или видеопамяти для домашнего компьютера авторы не приводят; длина контекста не обещает, что любой компьютер обработает длинный файл целиком. [s1](#src-s1) [s2](#src-s2)

**О правах:** карточки трёх репозиториев помечены `apache-2.0`, но в их деревьях нет отдельного файла LICENSE. Общедоступный GitHub-репозиторий команды с кодом обучения поисковой версии также не содержит LICENSE, хотя анонс называет весь выпуск Apache-2.0. Поэтому метку весов не следует автоматически переносить на отдельный код обучения и утверждать, что все компоненты имеют одинаковые условия. Перед коммерческим использованием кода уточните права именно на нужный репозиторий. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s4](#src-s4) [s6](#src-s6)

Следующий шаг для поиска по своим файлам — [посмотреть другой локальный вариант поиска](https://modelium.tech/zhurnal/embeddinggemma-2-multimodal-local-search-gguf/) и сравнить поддержку языка и требуемую программу, а не выбирать победителя по одному авторскому рейтингу. [s7](#src-s7)

## Источники

1. [Авторы DMIS: UltraBERT — анонс 14 октября](https://huggingface.co/blog/dmis-lab/ultrabert) — получено 2026-10-14
2. [UltraBERT-Embed-150M — закреплённая карточка и авторские измерения](https://huggingface.co/dmis-lab/UltraBERT-Embed-150M/blob/367d5343b5a0164d57b810cedf5de4b8983d5984/README.md) — получено 2026-10-14
3. [UltraBERT-150M — закреплённая карточка и файлы](https://huggingface.co/dmis-lab/UltraBERT-150M/tree/f821af159246ab4ac84669d42533281366bc55ab) — получено 2026-10-14
4. [UltraBERT-380M — закреплённая карточка и файлы](https://huggingface.co/dmis-lab/UltraBERT-380M/tree/7789071ca161cb99e03ec1006655d24ad8c1b0e1) — получено 2026-10-14
5. [UltraBERT: Beyond the Limit of BERT Pre-Training — arXiv v1](https://arxiv.org/abs/2610.15028) — получено 2026-10-14
6. [DMIS: исходники обучения UltraBERT-Embed, закреплённое дерево](https://github.com/dmis-lab/ultrabert-embed-training/tree/e63b6a22abb81309d521511221d6d7aeb34af3aa) — получено 2026-10-14
7. [Modelium: EmbeddingGemma 2 для локального поиска](https://modelium.tech/zhurnal/embeddinggemma-2-multimodal-local-search-gguf/) — получено 2026-10-14