Development and Integration of a NMPC-Controlled Legged-Manipulator Platform for Search and Rescue Operations

Resumen

The rapid advancement of robotics has revolutionized various industries, particularly in the realm of Search and Rescue (SAR), where robots are becoming a major focus of research for deployment in hazardous and unpredictable environments. Among these, legged-manipulator platforms are attracting significant research interest due to their potential for performing tasks that require both mobility and manipulation in complex, unstructured terrains. These platforms combine the agility and stability of legged robots with the dexterity of manipulators, making them uniquely suited to SAR operations where the ability to traverse rough terrain and interact with objects is essential.

At the Technical University of Madrid, the RobCib research group, part of the Center for Automation and Robotics (CAR), has been at the forefront of developing advanced robotic systems for SAR operations. Over the years, the group has made significant strides in this area, particularly with the development of ARTU-R, a quadruped robot designed for victim detection in SAR scenarios. ARTU-R was a pioneering project that demonstrated the potential of legged robots in SAR tasks, particularly in environments where wheeled or tracked robots would struggle. However, despite its successes, the project also highlighted several limitations, particularly in the robot’s control system, which relied on predefined gait patterns that were not well-suited to the dynamic and unpredictable conditions typically encountered in SAR missions. Additionally, it lacked the capability to manipulate objects with a payload higher than 250 g, a critical function for tasks such as opening doors or clearing debris.

Motivated by these challenges, the next phase of research within the RobCib group focused on developing a more sophisticated and versatile robotic platform. This led to the integration of a more capable manipulator with a robust quadruped platform. This Master’s Thesis centers on the integration and control of this legged-manipulator platform, specifically designed to enhance the operational capabilities of SAR robots. The project involved the adaptation, implementation, and testing of a Nonlinear Model Predictive Control (NMPC) system for the Unitree AlienGo quadruped robot, equipped with a Z1 robotic arm. The primary objective was to create a robust control system that could significantly improve the robot’s locomotion and manipulation capabilities in challenging SAR environments, such as traversing unstable terrains and performing tasks like door opening.

NMPC is an advanced control strategy used to handle complex, dynamic systems with nonlinear behavior, like the legged-manipulator platform described in this thesis.

NMPC works by predicting the future behavior of the system over a finite time horizon and optimizing control actions based on this prediction. By continuously solving an optimization problem at each time step, NMPC allows for real-time adjustments to the robot’s movements and interactions, ensuring smooth and precise control in response to dynamic environments.

To achieve these objectives, the research undertook a comprehensive review of existing control strategies used in legged robots. It was clear that traditional control systems,which were often designed for structured environments, were insufficient for the unpredictable and dynamic conditions of SAR operations. The NMPC system used in this thesis was tailored to overcome these challenges, providing a more flexible and adaptive control strategy that could dynamically adjust the robot’s behavior in response to the changing conditions of its environment.

To develop the NMPC system, an external code repository based on ROS Noetic was used as a foundation. However, this repository had several limitations that needed to be addressed to adapt it to the specific requirements of the Unitree Aliengo quadruped and the Z1 robotic arm. The enhancements enabled the controller to be tailored to the specific kinematics and dynamics of the system, allowing it to be implemented in a more advanced system based on ROS nodes that utilizes computer vision and planning modules, eliminating the need for direct user input.

In this Master’s Thesis, significant effort was dedicated to developing an advanced computer vision system to enhance the robot’s ability to interact autonomously with its environment, a critical requirement for SAR operations where constant user control may not be available. The vision system was specifically designed to detect and manipulate door handles, enabling the robot to perform complex tasks such as door opening without human intervention. Utilizing information retrieved from two depth cameras, this system allows the robot to accurately position itself, detect and manipulate door handles autonomously in controlled simulation environments.

To validate the NMPC system and the integration of the Z1 manipulator, extensive simulations were conducted using the Gazebo platform. These simulations assessed the robot’s performance in various SAR-relevant scenarios, such as navigating uneven terrains, climbing stairs, and opening doors. The results demonstrated significant improvements over previous control strategies, showcasing the enhanced capabilities of the system.

In addition to simulations, real-world tests were conducted in controlled environments to further evaluate the system’s performance. Although limited by time constraints and resource sharing, these tests provided valuable insights into the robot’s practical capabilities and highlighted areas for future improvement.

Overall, this thesis represents a substantial improvement over the control methods previously employed by the research group for their legged robotic platforms. The successful implementation of the NMPC system, combined with the vision-integrated Z1 manipulator, marks a substantial step forward. This advancement lays a strong foundation for future research within the lab for enhancing the robot’s ability to autonomously navigate and interact with complex environments. It also opens up new possibilities for integrating more sophisticated manipulation tasks, refining the control strategies for better adaptability in dynamic and unpredictable SAR scenarios, and expanding the robot’s functionality to tackle increasingly challenging missions.

----------------------------------------------------------------------------------------------------------------------------

El rápido avance de la robótica ha revolucionado diversas industrias, especialmente en el ámbito de la búsqueda y rescate (SAR, por sus siglas en inglés Search and Rescue), donde los robots se están convirtiendo en un tema principal de investigación para su despliegue en entornos peligrosos e impredecibles. Entre estos, las robots manipuladores con patas están atrayendo un interés significativo debido a su potencial para realizar tareas que requieren tanto movilidad como manipulación en terrenos complejos y no estructurados. Estas plataformas combinan la agilidad y estabilidad de los robots con patas con la destreza de los manipuladores, lo que las hace especialmente adecuadas para operaciones de SAR donde es esencial la capacidad de atravesar terrenos difíciles e interactuar con objetos.

En la Universidad Politécnica de Madrid, el grupo de investigación RobCib, ha estado a la vanguardia en el desarrollo de sistemas robóticos avanzados para operaciones de SAR.

A lo largo de los años, el grupo ha logrado avances significativos en esta área, particularmente con el desarrollo de ARTU-R, un robot cuadrúpedo diseñado para la detección de víctimas en escenarios de SAR. ARTU-R es un proyecto pionero que ha demostrado el potencial de los robots con patas en tareas de búsqueda y rescate, especialmente en entornos donde los robots con ruedas u orugas tendrían dificultades. Sin embargo, a pesar de los éxitos, el proyecto también ha puesto de manifiesto varias limitaciones, en particular en el sistema de control del robot, que depende de patrones de marcha predefinidos que no son adecuados para las condiciones dinámicas e impredecibles típicas de las misiones SAR. Además, ARTU-R carece de la capacidad de manipular objetos con una carga útil superior a 250 g por la limitación del brazo robótico que soporta, lo cual es una función crítica para tareas como abrir puertas o despejar escombros.

Motivado por estos desafíos, la siguiente fase de investigación dentro del grupo RobCib se centró en desarrollar una plataforma robótica más sofisticada y versátil. Esto llevó a la integración de un manipulador más capaz con una plataforma cuadrúpeda robusta.

Este Trabajo de Fin de Máster (TFM) se centra en la integración y control de este robot cuadrúpedo manipulador, específicamente diseñada para mejorar las capacidades operativas de los robots SAR. El proyecto involucró la adaptación, implementación y prueba de un sistema de Control Predictivo Basado en Modelo No Lineal (NMPC, por sus siglas en inglés Nonlinear Model Predictive Control) para el robot cuadrúpedo Unitree AlienGo, equipado con un brazo robótico Unitree Z1. El objetivo principal fue crear un sistema de control robusto que pudiera mejorar significativamente las capacidades de locomoción y manipulación del robot en entornos SAR desafiantes, como atravesar terrenos inestables y realizar tareas como abrir puertas.

El control predictivo no lineal es una estrategia de control avanzada utilizada para gestionar sistemas complejos y dinámicos con comportamiento no lineal, como el cuadrúpedo manipulador presentado en este TFM. El NMPC funciona prediciendo el comportamiento futuro del sistema en un horizonte temporal finito y optimizando las acciones de control en función de esta predicción. Al resolver de manera continua un problema de optimización en cada paso de tiempo, el NMPC permite realizar ajustes en tiempo real en los movimientos e interacciones del robot, garantizando un control suave y preciso en respuesta a entornos dinámicos.

Para alcanzar estos objetivos, se realizó una revisión exhaustiva de las estrategias de control existentes utilizadas en robots con patas. Fue evidente que los sistemas de control basados en generación de patrones de marcha, a menudo diseñados para entornos estructurados, eran insuficientes para las condiciones impredecibles y dinámicas de las operaciones SAR. El sistema NMPC propuesto en este trabajo se diseñó para superar estos desafíos, proporcionando una estrategia de control más flexible y adaptable que pudiera ajustar dinámicamente el comportamiento del robot en respuesta a las cambiantes condiciones de su entorno.

externo basado en ROS Noetic. Sin embargo, este repositorio presentaba varias limitaciones que debían ser abordadas para adaptarlo a los requisitos específicos del cuadrúpedo Unitree AlienGo y el brazo robótico Z1. Las mejoras permitieron adaptar el controlador a la cinemática y dinámica específicas del sistema, lo que permitió su implementación en un sistema más avanzado basado en nodos de ROS que utiliza módulos de visión por computador y planificación, eliminando la necesidad de entrada directa de comandos por parte del usuario.

En este TFM, se dedicó un esfuerzo significativo al desarrollo de un sistema avanzado de visión por computador para mejorar la capacidad del robot de interactuar autónomamente con su entorno, un requisito crítico para las operaciones SAR donde el control constante por parte del usuario puede no estar disponible. El sistema de visión se diseñó específicamente para detectar y manipular manillas de puertas, permitiendo que el robot realizara tareas complejas como abrir puertas sin intervención humana. Utilizando información obtenida de dos cámaras de profundidad, este sistema permite que el robot se posicione con precisión, detecte y manipule manillas de puertas de manera autónoma en entornos de simulación controlados.

Para validar el sistema NMPC y la integración del manipulador Z1, se realizaron simulaciones extensivas utilizando la plataforma Gazebo. Estas simulaciones evaluaron el desempeño del robot en diversos escenarios relevantes para SAR, como la navegación en terrenos irregulares, subir escaleras y abrir puertas. Los resultados demostraron mejoras significativas sobre las estrategias de control anteriores, mostrando las capacidades mejoradas del sistema.

Además de las simulaciones, se realizaron pruebas en el mundo real en entornos controlados para evaluar el desempeño real del sistema. Aunque estuvieron limitadas por restricciones de tiempo y la compartición de recursos, estas pruebas proporcionaron interesantes resultados sobre las capacidades prácticas del robot y señalaron áreas para futuras mejoras.

En general, este TFM representa una mejora sustancial respecto a los métodos de control utilizados previamente por el grupo de investigación para sus robots cuadrúpedos.

La implementación exitosa del sistema NMPC, combinada con el manipulador Z1 integrado con visión, marca un avance significativo. Este avance sienta una base sólida para investigación futura dentro del grupo para mejorar la capacidad del robot de navegar e interactuar autónomamente con entornos complejos. También abre nuevas posibilidades para integrar tareas de manipulación más sofisticadas, refinando las estrategias de control para una mejor adaptabilidad en escenarios SAR dinámicos e impredecibles, y ampliando la funcionalidad del robot para abordar misiones cada vez más desafiantes.