Acrobot: control de robots subactuados usando métodos de aprendizaje automático

Resumen

Un acrobot es un robot planar subactuado con un actuador pasivo en la
primera articulación. El problema de control de este sistema es ser capaz de llevarlo desde
la posición de reposo hasta la posición de péndulo invertido. Para ello, se suele dividir
el problema de control en dos, el "swing-up problem", donde el acrobot tiene que ganar
altura balanceándose como haría un acróbata humano, y el "balancing problem", donde
el acrobot tiene que ser capaz de permanecer en la posición de péndulo invertido. Para
este trabajo, se han desarrollado diferentes controladores que resuelven el problema de
control del acrobot usando técnicas de Inteligencia Artificial. Para el "swing-up problem",
se han desarrollado dos controladores PD y un controlador basado en SARSA y otro en <Lambda>-SARSA. Para el "balancing problem", se ha desarrollado un controlador LQR. Por
último, se ha desarrollado un nuevo controlador basado en un PWM para solucionar el
problema completo. Los controladores SARSA y <Lambda>-SARSA son capaces de resolver el
problema de mantenimiento aprendiendo por el método de prueba-error, mientras que los
otros controladores han sido ajustados con un algoritmo genético.---ABSTRACT---An acrobot is formed by a double pendulum whose first joint is not
actuated. The main purpose of this system is to make it rise from the rest position to
the inverted pendulum position. This control problem can be divided in the swing-up
problem, when the robot has to rise itself through swinging up as a human acrobat
does, and the balancing problem, when the robot has to maintain itself on the inverted
pendulum position. We have developed some controllers that uses Artificial Intelligence
techniques to solve those problem. Two types of PD controllers and one which is based on
SARSA and on <Lambda>-SARSA have been used to control the acrobot on the swing-up problem.
For the balancing problem, we have used a LQR controller. Finally, to solve the whole
problem with one controller, we have proposed a new controller based on a PWM. All the
controllers except SARSA and <Lambda>-SARSA are tuned with a Genetic Algorithm.