Перейти к содержанию
modelium.
Начать с задачи
←
Новость

GroundGUI-8B: модель показывает, куда нажать на скриншоте

На странице · 3 разделов

Prentis AI опубликовала GroundGUI-8B: модель получает скриншот и инструкцию, затем предлагает координаты одного клика. Веса доступны для скачивания, но готового домашнего приложения авторы не предлагают. Модель не нажимает кнопки сама, а заявленные результаты тестов редакция не воспроизводила.

GroundGUI-8B: модель предлагает точку клика на скриншоте

Что изменилось 8 октября 2026 года. Prentis AI выложила веса GroundGUI-8B. Покажите модели снимок экрана и попросите найти нужную кнопку: она выдаст координаты одного клика. Это заготовка для программ, которые помогают работать с интерфейсом, а не готовый помощник, который самостоятельно управляет компьютером. Дата относится к публикации весов на Hugging Face; код проекта появился раньше, 6 октября. s1s2s3

Что получается на выходе

Например, на скриншоте формы можно попросить: «Найди кнопку сохранения». Ожидаемый формат — действие left_click («нажать левой кнопкой») и пара чисел от 0 до 1000: они обозначают положение по ширине и высоте изображения, а не пиксели. Программа, которая захочет выполнить клик, должна сама пересчитать эти координаты для размера экрана и проверить, что найдена верная кнопка. Это пояснение формата, не результат нашего прогона. s1

Модель основана на Qwen3-VL-8B-Instruct и дообучена авторами для поиска элементов интерфейса. В официальном репозитории уже лежат файл весов model.safetensors, конфигурация и токенизатор; доступ к модели не закрыт заявкой. Указанная авторами лицензия весов — Apache-2.0, файл LICENSE приложен. У обучающего набора скриншотов ScreenRef свои условия: лицензию модели нельзя переносить на изображения или датасет. s1s4

Насколько хорошо она находит элементы

По данным авторов, попадание в нужный прямоугольник составило 1211 из 1272 заданий ScreenSpot-v2 и 1011 из 1581 заданий ScreenSpot-Pro. Это доля точек, попавших внутрь размеченной области, а не доля успешно выполненных действий в реальном приложении. В опубликованном коде оценки используется программа vLLM для запуска модели, генерация без случайной выборки, специальная системная инструкция и точная проверка попадания в пикселях. Для OSWorld-G предусмотрен отдельный вариант инструкции; сравнивать числа между наборами без учёта этих условий нельзя. Редакция не повторяла испытания и не проверяла качество на русскоязычных интерфейсах. s1s3s5

Стоит ли устанавливать сейчас

Если вам нужен домашний помощник, который сразу кликает по окнам, пока нет: карточка указывает на код оценки и требует специальную системную инструкцию, которую шаблон диалога сам не добавляет. Требования к памяти домашнего компьютера авторы не назвали; размер файла весов не равен необходимому объёму оперативной или видеопамяти. Скриншоты с паролями, личными данными и кнопками платежа не стоит передавать автоматическому агенту без отдельного контроля. s1s3

Если вы разрабатываете программу для работы с интерфейсами, начните с официальной карточки GroundGUI-8B: там есть точный формат ответа и ссылка на код оценки. Проверьте предложения на собственных скриншотах и оставьте подтверждение опасных действий человеку. Для сравнения с другим подходом к управлению экраном есть разбор Holo4 на Modelium.

Источники