Laya Vision: локальная модель оценивает изображения по заданной шкале

Что можно делать локально

Доступны три типа вопроса: choice выбирает вариант из списка, noul даёт вероятность ответа «да», а score возвращает ожидаемый уровень и распределение вероятностей по критериям пользовательской рубрики. Например, можно передать фотографию товара и попросить оценить повреждение по уровням «нет / косметическое / функциональное / разрушен». Это не универсальная генеративная VLM и не готовый модератор для любого бизнес-процесса: качество нового сценария надо проверять на собственных размеченных изображениях. s1

В репозитории есть model.safetensors объёмом 946 311 976 байт, конфигурация агента, токенизатор и файл метрик. Эта цифра описывает вес на диске, не минимальную RAM или VRAM. Автор предлагает локальный Python-маршрут через отдельный репозиторий r33drichards/laya-vision; его код распространяется под Apache-2.0. Базовый SmolVLM-256M-Instruct также имеет Apache-2.0, однако сами новые веса — CC BY-NC-SA 4.0, то есть не предназначены для коммерческого использования. Автор связывает ограничение, в частности, с лицензиями обучающих данных ScienceQA и CrisisMMD. Не переносите лицензию базовой модели или кода на производный чекпойнт. s1 s2 s3 s4

Как проверить на своих данных

Авторский способ установки: git clone https://github.com/r33drichards/laya-vision && pip install -e ./laya-vision torchvision. Затем загрузите именно закреплённый по назначению чекпойнт, а не движущийся alias thaitea/laya-vision: s1

import laya
from PIL import Image

agent = laya.load_vlm("thaitea/laya-vision-smolvlm-256m-score")
result = agent.predict(
{"image": Image.open("photo.jpg")},
{"damage": {"type": "score",
"instructions": "How much damage does the item show?",
"criteria": ["none", "cosmetic", "functional", "destroyed"]}}
)
print(result["answers"]["damage"]["score"])

Критерии задаются от уровня 0 к большему. Для реального применения сопоставляйте не только среднюю оценку, но и вероятности по уровням с размеченной выборкой вашего домена; документация прямо предупреждает, что шкалы за пределами обучения не считаются откалиброванными. Код выше воспроизводит интерфейс из карточки, Modelium не запускал модель и не проверял скорость или качество самостоятельно. s1

Что показывают оценки авторов — и чего не показывают

На отложенной выборке VLFeedback (2 000 примеров, пять уровней) автор сообщает точность 53,9% против 27,5% у базового распределения; на RichHF-18K (1 990 примеров) — 57,3% против 44,0%. Для оценки повреждений CrisisMMD (529 примеров, три уровня) указаны 69,0% против 62,8%. Это результаты разработчика на конкретных наборах и рубриках, не независимый бенчмарк локального запуска. Для AVA эстетики модальный класс даёт 84,7%, почти столько же, сколько prior-only (84,8%); сами авторы предлагают здесь смотреть на среднюю ошибку уровня и cross-entropy, а не на процент правильного класса. s1 s5

Проверка выполнялась на английских вопросах; список обучающих и проверочных наборов не доказывает пригодность для русскоязычных рубрик или высокорисковых решений. Температурная калибровка общая для каждого типа вопроса и, по словам автора, не гарантирует корректных вероятностей для новых шкал. Практический вывод: чекпойнт интересен для некоммерческого прототипа визуальной маршрутизации и оценок, но перед автоматизацией нужен собственный тест на данных и устройстве целевого приложения. s1 s5