Perplexity открыла pplx-embed-v2-context-9b-preview: контекстные эмбеддинги для локального RAG

Что меняется в локальном RAG

Обычный поиск часто кодирует каждый отрывок отдельно. Здесь на вход передают список фрагментов одного документа: модель обрабатывает их совместно и возвращает по вектору на фрагмент. Если короткий отрывок ссылается на определение или объект в соседнем абзаце, такой способ даёт ему контекст. Это устройство модели, а не доказательство превосходства на вашем корпусе: карточка этого preview не приводит самостоятельного сравнительного бенчмарка для выбора вместо другого энкодера. s1

Практический маршрут: сохраните порядок чанков по документу, кодируйте их группами через model.encode(documents) и индексируйте векторы вместе с ID документа и чанка. Для поискового запроса используйте model.encode_queries(queries), а не encode: авторы предупреждают, что у двух путей разные префиксы и неверный метод ухудшает поиск без явной ошибки. Каждая строка queries — список с одним запросом. Пример авторов использует AutoModel.from_pretrained с trust_remote_code=True и требует transformers>=5.4.0; сторонний Python-код следует проверить перед запуском на приватных данных. Готового пути через Ollama или llama.cpp карточка не обещает. s1 s4

Векторы, сравнение и миграция

Выходная размерность — 2048; карточка описывает обученное сокращение до 1024 измерений: сначала взять первые 1024 координаты ненормализованного вектора, затем нормализовать их. Для исходных векторов используйте cosine similarity либо normalize_embeddings=True и скалярное произведение. Не смешивайте разные размерности или нормализованные и ненормализованные векторы в одном индексе. s1

Карточка называет выход INT8-квантованным. При этом опубликованный Python-код прямо документирует возврат float32 с целочисленными значениями в обычном encode — это не обещание, что возвращаемый NumPy-массив занимает один байт на координату. При планировании хранилища проверяйте фактический dtype и формат индекса; размер файлов весов не является минимальным требованием к RAM или VRAM. s1 s4

Это preview: авторы предупреждают, что веса, интерфейс и эмбеддинги могут измениться без обратной совместимости. Для пилота закрепите ревизию, версию Transformers и набор тестовых запросов; при будущей замене модели пересоздайте и документные, и запросные векторы, затем измерьте retrieval на собственных размеченных примерах. Modelium не запускал модель и не проверял её скорость или качество. s1 s2

Доступ и права

HF API показывает публичный негейтированный репозиторий, семь шардов основных весов, проекционную голову, конфигурацию и custom Python-код. Метаданные карточки указывают лицензию MIT, но отдельного файла LICENSE в проверенном дереве нет: это метка автора, а не проведённая нами правовая экспертиза всех зависимостей и исходных данных. Возможность скачать веса, метка лицензии, совместимость со сторонним runtime и качество результата — разные утверждения. s2 s5

Вывод: стоит попробовать в отдельном локальном RAG-пилоте, если важен контекст соседних фрагментов; для производственного индекса сначала сверить права и выполнить собственную оценку retrieval, затем закрепить одну ревизию. s1 s2