Desarrollo de un videojuego y entrenamiento del protagonista mediante aprendizaje por refuerzo profundo

Resumen

Los videojuegos son programas de ordenador que tienen como propósito el entretenimiento del usuario. Mayoritariamente, estos juegos suelen contener algún tipo de inteligencia artificial (IA) que se encargue de jugar con o contra el jugador. Un ejemplo clásico es el Pac-Man, un juego donde el jugador, un comecocos, tiene que huir de los diferentes fantasmas que le persiguen. Esta persecución es realizada a través de un algoritmo de IA que puede regularse en función de la dificultad de la partida. Los videojuegos suponen un entorno idóneo para poner en práctica el aprendizaje por refuerzo, una rama de la inteligencia artificial que cada vez adquiere más relevancia. Este trabajo presenta el desarrollo de un videojuego de dos dimensiones (2D), donde el objetivo del jugador es aguantar el mayor tiempo posible frente a oleadas de enemigos que se aproximan a él. Además, se incluye el desarrollo de un agente inteligente entrenado con aprendizaje por refuerzo profundo, capaz de adoptar la posición del jugador para realizar las acciones que haría un humano. Los objetivos principales de este trabajo consisten en el desarrollo de un videojuego de supervivencia y en la implementación de un agente inteligente que adopte la entidad del protagonista. En el videojuego, el jugador debe disparar a los enemigos que se le aproximan y protegerse con su escudo frente a los disparos enemigos. El juego incluye elementos gráficos, así como animaciones y elementos sonoros, como música en segundo plano y efectos de sonido, coherentes con los eventos de la partida. El agente debe ser capaz de priorizar entre las distintas acciones que se le presentan frente a un escenario concreto. Esto es, saber cuándo y dónde disparar, cuándo y dónde protegerse o cuándo no hacer nada para reservar sus habilidades hasta el momento oportuno. El trabajo final ha cumplido todos los objetivos propuestos, tanto en el desarrollo del videojuego como en la implementación del agente inteligente. La jugabilidad del videojuego y su calidad gráfica son uno de los puntos más destacables, así como lo es el repertorio musical y sonoro, consiguiendo un videojuego entretenido y muy dinámico. El agente inteligente obtiene muy buenos resultados en partidas extensas, siendo capaz de ejecutar las acciones adecuadas en base al entorno que le rodea en cada instante. Con la realización de este trabajo se han aprendido las bases del desarrollo de videojuegos, el funcionamiento de las redes neuronales profundas y cómo estas se pueden integrar dentro de un agente capaz de entrenarse para jugar al videojuego implementado. Sin duda, esto es un paso adelante para próximas ideas que involucren a la inteligencia artificial en el ámbito de los videojuegos.

ABSTRACT

Video games are computer programs designed for the entertainment of the user. Most commonly, these games contain some form of artificial intelligence (AI) that plays with or against the player. A classic example is Pac-Man, a game where the player, a yellow character, must escape from different ghosts that chase it. This pursuit is carried out through an AI algorithm, which can be adjusted based on the game's difficulty. Video games provide an ideal environment to implement reinforcement learning, a branch of artificial intelligence that is highly relevant today. This work presents the development of a two-dimensional video game, where the player's objective is to survive for as long as possible against waves of approaching enemies. It also includes the development of an intelligent agent trained with deep reinforcement learning, capable of assuming the player's position to perform actions that a human would do. The main objectives of this work consist of developing a survival video game and implementing an intelligent agent that takes on the role of the protagonist. In the game, the player must shoot at approaching enemies and protect himself with a shield against enemy shots. The game includes graphical elements, as well as animations and sound features, such as background music and sound effects that are consistent with the events of the game. The agent must be able to prioritize among the different actions presented to it in a specific scenario. This means knowing when and where to shoot, when and where to take cover, or when not to do anything to save its abilities for the right moments. The final work has achieved all the proposed objectives, both in the development of the video game and the implementation of the intelligent agent. The gameplay and its graphic quality have been one of its strong points, as well as its repertoire of music and sounds, resulting in an entertaining and dynamic video game. The intelligent agent achieves positive outcomes in extensive game sessions, being capable of executing the appropriate actions based on the surrounding environment at any time given. Through the completion of this work, the foundations of video game development have been learned, as well as the functioning of deep neural networks and how they can be integrated into an agent capable of training to play the implemented video game. Undoubtedly, this is a step forward for future ideas involving artificial intelligence within video games.