Interfaz inmersiva para misiones robóticas basada en realidad virtual

Abstract

Los avances en tecnologías inmersivas han dado lugar a nuevas herramientas de realidad virtual con un inmenso potencial para la mejora de interfaces robóticas. En concreto, se han detectado dos ámbitos en los que el uso de realidad virtual puede resultar especialmente beneficioso. Por un lado, se encuentran las misiones multi-robot, que suponen un gran reto a los operadores en lo referente a carga de trabajo y conciencia de la situación (situational awareness). Los operadores de estas misiones deben ser capaces de recibir los datos de los robots, extraer la información relevante, procesarla, tomar decisiones y generar los comandos adecuados en el menor tiempo posible.
En estos casos, es común que lleguen a saturarse o pasen por alto aspectos claves para el desarrollo de la misión. Las interfaces de realidad virtual pueden ayudar en este sentido, dado que su alto nivel de inmersión favorece la asimilación de información del entorno de forma natural, provocando así una mejora de la conciencia de la situación respecto a la experimentada con interfaces convencionales.
Por otro lado, el ámbito de la teleoperación de robots con actuadores complejos también supone un nicho interesante para esta tecnología. La realidad virtual posee la capacidad de transportar al operador al espacio de trabajo, le proporciona información sobre las tareas a realizar y le permite comandar los robots de forma intuitiva y precisa.
Es por estos motivos que en este trabajo se ha decidido desarrollar y probar dos interfaces de realidad virtual: una interfaz de monitorización de misiones multi-UAV y otra de teleoperación de un brazo robótico manipulador de 6 grados de libertad. Los robots funcionan bajo ROS (Robot Operating System), lo que permite su control y toma de datos a través de un ordenador con sistema operativo Linux. Este ordenador se ha conectado a través de sockets TCP/IP a un segundo terminal con Windows, en el que se encuentra el software de diseño de videojuegos Unity y su plugin específico Steam VR, que facilita la conexión con las gafas de realidad virtual HTC Vive. La interfaz de monitorización reproduce el escenario de una serie de misiones de extinción de incendios y seguimiento de intrusos efectuadas en 2016 en la Universidad de Luxemburgo. En las misiones intervienen dos UAVs y un robot terrestre, cuya telemetría y comandos se registraron de forma detallada para su posterior reproducción. La interfaz permite seguir el desarrollo de la misión a través de su conexión con ROS. La información relevante se muestra de forma visual y auditiva, con la aparición dinámica de fuegos y enemigos, el movimiento realista de los UAVs y una serie de elementos adicionales que aportan datos sobre el estado de la misión en cada momento. La interfaz incluye un modo denominado predictivo, en el que se integra información extraída de una serie de redes neuronales en forma de dos variables: relevancia y riesgo. Este modo trata de realizar funciones que normalmente son ejecutadas por operador, relevando así parte de las tareas y reduciendo la carga de trabajo. Además, se incorpora la herramienta de teletransporte para el movimiento dentro del escenario de la misión.
Los efectos de la realidad virtual y la componente predictiva se han medido en un conjunto de experimentos efectuados sobre 24 operadores, comparando la interfaz de realidad virtual (predictiva y no predictiva) con una interfaz convencional (también en modo predictivo y no predictivo).
La carga de trabajo y conciencia de situación fueron evaluados mediante cuestionarios SAGAT y NASA-TLX, con un total de 20 preguntas sobre la misión en cada interfaz, más una asignación de nivel de cada una de las
6 variables que determinan la carga de trabajo (exigencia mental, física y temporal, esfuerzo, rendimiento y frustración). El análisis de los resultados permite afirmar con un nivel de significancia del 95% que las interfaces de realidad virtual superan a las convencionales en conciencia de la situación, rendimiento y esfuerzo. Además, resultan mejores en el resto de campos, aunque no se puede afirmar que la diferencia sea significativa.
Por otra parte, la segunda interfaz permite tanto la monitorización del brazo robótico Kinova Jaco2 (estado de las articulaciones, localización del efector, acciones sobre su entorno...) como el comandado del mismo (mediante el envío de metas al efector moviendo una esfera de comandado). Además, se ha abordado con éxito la conexión bilateral entre ROS y Unity mediante la herramienta RosBridge, mejorando los códigos existentes y aportando nuevos tipos de mensajes que se pueden intercambiar. Las primeras pruebas con operadores muestran las cualidades de esta interfaz: la transmisión de información espacial, el sistema de comandado intuitivo y la operación en condiciones de seguridad.
En resumen, el proyecto parte de dos objetivos principales: el desarrollo de una interfaz de monitorización para misiones multi-robot y una interfaz de control para un robot manipulador. En el proceso para alcanzar dichos objetivos se han diseñado escenarios, implementado modelos y creado interacciones en realidad virtual con Unity; desarrollado distintos modos de comunicación entre Unity y ROS; creado un modo de comandado para el brazo robótico en realidad virtual; y diseñado y realizado un conjunto de experimentos y pruebas para la evaluación de las interfaces.
Así, se ha conseguido aportar al estado del arte con interfaces inmersivas de nueva generación fuera del área de la robótica industrial. En la interfaz de monitorización se logran unir componentes multimodales y predictivos, mientras que en la de comandado se consigue una interacción con el robot real más allá del entorno de simulación. Estos avances han abierto una gran cantidad de líneas de investigación dentro del grupo, como el desarrollo de interfaces de teleoperación que integren información del entorno obtenida con cámaras 3D, muestren las trayectorias planificadas o muestren el brazo robótico montado sobre un robot móvil.
Finalmente, este trabajo se ha llevado a cabo bajo una beca de colaboración en el Departamento de Automática. Los avances realizados han permitido una aportación significativa en tres publicaciones y la participación en eventos como las jornadas de puertas abiertas de la ETSII.