@unpublished{upm52084,
          author = {Iv{\'a}n Gamino del R{\'i}o and Jonatan S{\'a}nchez S{\'a}nchez},
           title = {Detector de elementos para el videojuego Dark Souls},
         address = {Madrid},
            year = {2018},
        keywords = {Videojuegos, Redes neuronales},
             url = {https://oa.upm.es/52084/},
        abstract = {En el sector de los Videojuegos, el campo de la visi{\'o}n artificial se ha enfocado tradicionalmente en dise{\~n}ar inteligencias artificiales que aprendiesen a jugar juegos (como jugadores aut{\'o}nomos), como por ejemplo ?PacMan? y ?Super Mario World?, entre otros. Con el actual auge del Deep Learning, se han obtenido resultados m{\'a}s relevantes en el desarrollo de sistemas de visi{\'o}n artificial usando redes neuronales profundas. Dark Souls es un juego ampliamente conocido en la comunidad de jugadores por su alta dificultad, por lo que toma relevancia para el desarrollo del jugador aut{\'o}nomo. Dark Souls tiene lugar en el reino ficticio de Lordran. El argumento del juego est{\'a} relacionado con las descripciones de los objetos del juego, y di{\'a}logos con personajes no jugables. Los jugadores deben ir reuniendo pistas para poder entender la historia. Dark Souls se labr{\'o} un gran reconocimiento por su extenuante dificultad e implacable desaf{\'i}o. En este Proyecto de Fin de Grado se ha desarrollado un Sistema de Visi{\'o}n Artificial (SVA) para el videojuego Dark Souls que es capaz de detectar y etiquetar los  elementos del juego a partir de im{\'a}genes capturadas en tiempo real. Los resultados obtenidos con este sistema pueden servir como base para entrenar un jugador aut{\'o}nomo que podr{\'i}a jugar a Dark Souls. Este sistema ha sido desarrollado utilizando el modelo de red neuronal profunda denominado SSD-MobileNet, que se dise{\~n}{\'o} para localizaci{\'o}n y clasificaci{\'o}n de objetos gen{\'e}ricos en una imagen. Se ha creado un dataset espec{\'i}fico y se ha entrenado esta red para adaptarla al videojuego. La implementaci{\'o}n de este sistema se ha llevado a cabo utilizando Tensorflow y OpenCV. Los desarrollos que se han llevado a cabo hasta la fecha solamente se han enfocado en entornos 2D, mientras que la implementaci{\'o}n que se presenta en este Proyecto de Fin de Grado es para un entorno 3D. Los resultados obtenidos son satisfactorios manteniendo una precisi{\'o}n superior al 80\% la mayor{\'i}a del tiempo (al menos un 80\% de los fotogramas capturados durante una partida).
Abstract:
In the videogames sector, the field of artificial vision has traditionally focused on the design of artificial intelligence that learn to play games as autonomous players such as "PacMan" and "Super Mario World", among others. With the current boom of Deep Learning, more relevant results have been obtained in the development of artificial vision systems using deep neural networks.
Dark Souls is a game widely known in the community of players for its high difficulty, so it takes relevance to the development of the autonomous player. Dark Souls takes place in the fictitious kingdom of Lordran. The plot of the game is related to the descriptions of the objects in the game, and dialogues with non-playable characters. Players have to gather clues to understand the story. Dark Souls earned a great recognition for its exhausting difficulty and implacable challenge. In this End of Degree Project, an Artificial Vision System (AVS) has been developed for Dark Souls videogame that is able to detect and label the elements of the game from images captured in real time. The results obtained by this system can serve as a base to train an autonomous player who could play Dark Souls. This system has been developed using the deep neural network model called SSD-MobileNet, which was designed to locate and classify generic objects in an image. A specific dataset has been created and this network has been trained to adapt it to the videogame. The implementation of this system has been carried out using Tensorflow and OpenCV. The developments that have been carried until now have only focused on 2D environments, while the implementation presented in this End of Degree Project is for a 3D environment. The results obtained are satisfactory maintaining an accuracy of more than 80\% most of the time (at least 80\% of the frames captured during a game session).}
}