Гугл транслейт)
Исследователи показали голографическую систему управления дополненной реальностью для автономных дронов
Теоретически управление летающим дроном не должно сильно отличаться от пилотирования вертолета, но без человека в кабине визуализировать текущее положение дрона относительно окружающих препятствий может быть сложно - обычно это двумерное изображение, зависящее от камер. и джойстики. На этой неделе исследователи Чухао Лю и Шаоцзе Шен из Гонконгского университета науки и технологий представили новое интригующее решение, в котором используется голографическое оборудование дополненной реальности для создания живых трехмерных карт местности, позволяющих пилотам дронов просто указывать на цели, визуализируемые над любой плоской поверхностью.
Голографический интерфейс основан на сочетании интересных технологий: на стороне дисплея гарнитура Microsoft HoloLens генерирует контент дополненной реальности в виде красочной воксельной карты, которую можно просматривать под любым углом с помощью автономного дрона.
камеры глубины и raycasting для получения данных о местоположении в реальном времени. Что особенно важно, система обеспечивает живое и очень пространственное ощущение высоты и глубины окружающей среды, что позволяет легко увидеть дрон от третьего лица и изменить его положение.
Автоматизированные дроны проверяют социальное дистанцирование в Сингапуре
Затем HoloLens передает команды дрону, определяя его следующую цель на голографической карте, превращая жесты и взгляды рук пользователя в элементы управления, похожие на «укажи и щелкни». Затем автономный дрон летит в новое место, обновляя трехмерную карту по мере движения. Демонстрационное видео, предоставленное исследователями, выглядит прямо из научного фильма - по крайней мере, со стороны голографии. Из-за ограничений полосы пропускания дрон передает в интерфейс дополненной реальности только данные трехмерной карты, а не видео от первого лица.
Команде Гонконгского университета еще предстоит пройти долгий путь, прежде чем система управления голографическим дроном будет готова к развертыванию. Первоначально данные дронов передавались через Wi-Fi в помещении для тестирования, хотя сотовые соединения 5G с малой задержкой, скорее всего, будут работать на открытом воздухе, когда сети 5G выйдут из стадии, на которой в настоящее время ограничены дронами. Исследователи также отметили, что «очень ограниченное поле обзора [AR] HoloLens… вызывало частые жалобы» в группе тестировщиков, и эту проблему можно было решить с помощью HoloLens 2 или другой гарнитуры AR. Кроме того, тестировщикам требовалась практика, чтобы стать профессиональными в 3D-нацеливании, несмотря на их предыдущее знакомство с оборудованием AR, проблема, которая может быть связана с распознаванием жестов или несовершенным 3D-интерфейсом.
Стоит отметить, что данные 3D-карты будут более эффективны по пропускной способности, чем видео в реальном времени от первого лица, требуя всего 272 МБ данных при обновлении 10 раз в секунду, по сравнению с 1,39 ГБ данных для отправки видео от первого лица со скоростью 30 кадров в секунду. В дальнейшем команда хочет включить оба типа потоков для пользы пользователя, оптимизируя данные для соответствия минимальным уровням пропускной способности сети.
Несмотря на проблемы, у голографической системы AR явно есть большой потенциал. Если оставить в стороне визуальную новизну интерфейса, можно получить огромное удобство в управлении удаленным автомобилем с помощью не более чем портативной автономной гарнитуры AR, вместо того, чтобы использовать полноценный компьютер, монитор и джойстик.
Исследователи планируют официально представить свой «первый шаг» по объединению AR с автономными дронами на Международной конференции по интеллектуальным роботам и системам, которая запланирована на 25-29 октября 2020 года.
Тема: События с мультироторами (Прочитано 10727 раз)