Visión por computador para el uso de realidad aumentada en Unity3D

Díaz Álvarez, Jorge (2021). Visión por computador para el uso de realidad aumentada en Unity3D. Proyecto Fin de Carrera / Trabajo Fin de Grado, E.T.S. de Ingenieros Informáticos (UPM), Madrid, España.

Description

Title: Visión por computador para el uso de realidad aumentada en Unity3D
Author/s:
  • Díaz Álvarez, Jorge
Contributor/s:
  • Baumela Molina, Luis
  • Suárez Canosa, Xoan Iago
Item Type: Final Project
Degree: Grado en Ingeniería Informática
Date: June 2021
Subjects:
Faculty: E.T.S. de Ingenieros Informáticos (UPM)
Department: Inteligencia Artificial
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img]
Preview
PDF - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (3MB) | Preview

Abstract

OpenCV es una de las librerías de Visión por Computador más empleada del mundo y Deep Learning uno de los métodos de detección y seguimientos de objetos más populares. Por otro lado, Unity 3D es un motor gráfico que se ha vuelto en los últimos años muy popular y muy usado. Este proyecto nace de la necesidad de visualizar los algoritmos de localización y detección realizados en el laboratorio de Percepción Computacional y Robótica (PCR) tales como: Detección de Caras, manos, Localización 3D en entornos urbanos, localización en interiores, reconocimiento de patrones, etc. Para ello se pretende unir Unity 3D con OpenCV y Deep Learning mediante un plugin de middleware entre ambos, usando código compilado en C, ya que los algoritmos de visión están desarrollados mayoritariamente en C++ y el motor gráfico de Unity 3D usa scripts en C#. El objetivo de este TFG es empaquetar los algoritmos de detección de OpenCV y algunos más sofisticados basados en Deep Learning, como pueden ser los del proyecto de google MediaPipe, que no solo nos ofrece detectores de cara muy sofisticados, sino también detectores de manos, de iris, ... Lo que es muy útil para las empresas de cara a hacer un modelo en 3D de una habitación o incluso para algún juego de realidad aumentada, o en nuestro caso probar lo desarrollado por el departamento de manera más visual.---ABSTRACT---OpenCV is one of the computer vision libraries most used all arround the world and Deep Learning is one of the most popular object detection and tracking methods. On the other hand, Unity 3D is a graphic engine that has become very popular and widely used in recent years. This project was born from the need to visualize the location and detection algorithms developed at the Computational Perception and Robotics (PCR) laboratory such as: Face and hand detection, 3D location in urban environments, indoor location, pattern recognition, etc. . For this, it is intended to combine Unity 3D with OpenCV and Deep Learning by means of a plugin that works as a middleware between the two of them, using code compiled in C, since the vision algorithms are mainly developed in C++ and the Unity 3D graphic engine uses scripts in C#. The objective of this TFG is to pack the OpenCV detection algorithms and some more sophisticated ones based on Deep Learning, such as those of the MediaPipe google project, which not only offers us very sophisticated face detectors, but also hand, iris, ... Which is very useful for companies in order to make a 3D model of a room or even for a augmented reality games, or in our case, test what has been developed by the department in a more visual way.

More information

Item ID: 68007
DC Identifier: https://oa.upm.es/68007/
OAI Identifier: oai:oa.upm.es:68007
Deposited by: Biblioteca Facultad de Informatica
Deposited on: 13 Aug 2021 07:37
Last Modified: 13 Aug 2021 07:37
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM