DroneCATS 2B: NAVER опубликовала модель, предлагающую действия дрону по кадру

Что именно выпустили?

На Hugging Face доступен пакет с весами, настройками и примером загрузки через Transformers. Веса — это данные обученной модели; программа для их использования устанавливается отдельно. Репозиторий появился 16 октября, а команда в тот же день добавила ссылку на него в официальный проект. Это адаптация NVIDIA Cosmos3-Edge для выбора действия дрона, а не новая универсальная модель для переписки. s1 s2 s3

Модель получает один кадр и текстовую инструкцию. В зависимости от сцены она может предложить движение к точке, поворот, паузу для нового шага или завершение задачи. Координаты точки в ответе задаются в шкале изображения, а для расстояния требуется учитывать параметры конкретной камеры. Для следующего шага нужен свежий кадр: само по себе однократное обращение к модели не управляет полётом. s1

Что это меняет для локального ИИ?

Исследователь может скачать веса и изучить принятие решений на собственном компьютере вместо обращения к удалённой модели через API. Показанный авторами пример использует Python, Transformers и изображение с камеры DJI Tello; Modelium не запускал эту модель, не измерял скорость и не подтверждал требования к памяти. Размер загружаемых весов нельзя считать минимальной оперативной или видеопамятью. Для обычного пользователя это пока исследовательский выпуск, а не программа «установил и полетел». s1 s3

Авторы сообщили, что в их испытании на реальном дроне обученная модель выполнила 55% задач: по пять попыток на каждую из четырёх задач. В симуляции средний результат этой же модели — 31,2%; методика там другая: 20 эпизодов на задачу, каждый повторяли дважды. Это результаты авторов, а не независимый тест Modelium. Не следует переносить эти проценты на другой дрон, помещение или задачу. s2 s4

Почему нельзя сразу доверить ей полёт?

Карточка модели предупреждает: она предлагает команды, но не распознаёт и не обходит препятствия. Для безопасного управления нужен отдельный контур проверки команд, а также настройки камеры и управления конкретным аппаратом. Авторы пока отметили код и сам бенчмарк как будущие публикации — воспроизвести их полный эксперимент по опубликованному репозиторию нельзя. Не испытывайте такие команды на реальном аппарате без самостоятельной системы безопасности и контроля человека. s1 s2

Веса опубликованы с текстом OpenMDW-1.1; у исходной модели NVIDIA в карточке указана та же лицензия, а нынешний код NVIDIA тоже содержит OpenMDW-1.1. Это не означает, что весь будущий код DroneCATS уже опубликован или что оценка независима. При распространении материалов лицензия требует сохранить её текст и уведомления; права на чужие данные и изображения остаются отдельным вопросом. s5 s6 s7

Следующий шаг: если вам нужна модель для обычных домашних задач, начните с подбора локальной модели для своего сценария, а DroneCATS рассматривайте как исследование управления по изображению, не как инструкцию к полёту.