A human-robot cooperation system for surface inspection aerial missions

Abstract

El desarrollo de funcionalidades para drones crece constantemente. Hoy en día, la mayoría de las empresas de la industria de los drones proponen nuevas utilidades para estos vehículos no tripulados, utilidades que implican principalmente tareas de inspección y vigilancia. El propósito de este trabajo es proponer un sistema cooperativo humano-robot, considerado por tanto semi-autónomo, capaz de realizar tareas de inspección estructural en muros con el objetivo de hallar desperfectos. Esta “semi-autonomía” está basada en una interacción mutua entre humano y drone en la que el humano pide al robot que realice ciertas tareas durante el transcurso de una misión autónoma de inspección en la que el drone debe ser capaz de hallar y clasificar diferentes desperfectos previamente entrenados y pedir ayuda al operario de tierra si es necesario. Con este objetivo, se desarrolla un algoritmo en base al concepto de Histograma de Frecuencia de Elementos Conexos que se incluye en la parte de visión por computador para el reconocimiento de desperfectos del proyecto. Los hallazgos muestran que es posible extraer ciertos patrones de la aplicación propuesta de manera a otorgar cierta robustez al proyecto, y los experimentos pueden ser usados como prueba de concepto para misiones más genéricas de inspección de superficies. El proyecto pretende contribuir a la evolución actual de sistemas inteligentes y robótica y está disponible de forma gratuita como parte del proyecto de código abierto de Aerostack.--ABSTRACT--The development of functionalities for drones is constantly increasing. Nowadays, most enterprises of the drone industry are proposing new uses for those unmanned aerial vehicles, uses which mainly involve inspection or vigilance tasks. The goal of this work is to make a proposal on a human-robot cooperative system, hence considered semi-autonomous, to perform structural inspection tasks on walls, in order to find imperfections. This “semiautonomy” is based on a mixed-interaction human-drone where the human asks the robot to perform specific tasks during an autonomous inspection mission in which the drone has to be able to find and classify several pre-trained imperfections and ask the operator for help if needed. For this purpose, an algorithm holding the concept of Frequency Histogram of Connected Elements will be introduced in the computer vision part of the project for imperfections recognition. The findings show that it is feasible to extract general patterns from such application to give certain robustness to the project, and the experiments can be used as a proof of concept for more general surface inspection missions. The whole project is framed on an increasing evolution of intelligent systems and robotics and freely available as a part of the open source framework Aerostack.