Visión por computador para el uso de realidad aumentada en Unity3D

Resumen

OpenCV es una de las librerías de Visión por Computador más empleada del mundo y Deep Learning uno de los métodos de detección y seguimientos de objetos más populares. Por otro lado, Unity 3D es un motor gráfico que se ha vuelto en los últimos años muy popular y muy usado. Este proyecto nace de la necesidad de visualizar los algoritmos de localización y detección realizados en el laboratorio de Percepción Computacional y Robótica (PCR) tales como: Detección de Caras, manos, Localización 3D en entornos urbanos, localización en interiores, reconocimiento de patrones, etc. Para ello se pretende unir Unity 3D con OpenCV y Deep Learning mediante un plugin de middleware entre ambos, usando código compilado en C, ya que los algoritmos de visión están desarrollados mayoritariamente en C++ y el motor gráfico de Unity 3D usa scripts en C#. El objetivo de este TFG es empaquetar los algoritmos de detección de OpenCV y algunos más sofisticados basados en Deep Learning, como pueden ser los del proyecto de google MediaPipe, que no solo nos ofrece detectores de cara muy sofisticados, sino también detectores de manos, de iris, ... Lo que es muy útil para las empresas de cara a hacer un modelo en 3D de una habitación o incluso para algún juego de realidad aumentada, o en nuestro caso probar lo desarrollado por el departamento de manera más visual.---ABSTRACT---OpenCV is one of the computer vision libraries most used all arround the world and Deep Learning is one of the most popular object detection and tracking methods. On the other hand, Unity 3D is a graphic engine that has become very popular and widely used in recent years. This project was born from the need to visualize the location and detection algorithms developed at the Computational Perception and Robotics (PCR) laboratory such as: Face and hand detection, 3D location in urban environments, indoor location, pattern recognition, etc. . For this, it is intended to combine Unity 3D with OpenCV and Deep Learning by means of a plugin that works as a middleware between the two of them, using code compiled in C, since the vision algorithms are mainly developed in C++ and the Unity 3D graphic engine uses scripts in C#. The objective of this TFG is to pack the OpenCV detection algorithms and some more sophisticated ones based on Deep Learning, such as those of the MediaPipe google project, which not only offers us very sophisticated face detectors, but also hand, iris, ... Which is very useful for companies in order to make a 3D model of a room or even for a augmented reality games, or in our case, test what has been developed by the department in a more visual way.