Interfaz gráfica para el uso de realidad aumentada en Unity3D

García-Siñeriz Sánchez, Ignacio (2021). Interfaz gráfica para el uso de realidad aumentada en Unity3D. Proyecto Fin de Carrera / Trabajo Fin de Grado, E.T.S. de Ingenieros Informáticos (UPM), Madrid, España.

Description

Title: Interfaz gráfica para el uso de realidad aumentada en Unity3D
Author/s:
  • García-Siñeriz Sánchez, Ignacio
Contributor/s:
  • Baumela Molina, Luis
  • Suárez Canosa, Xoan Iago
Item Type: Final Project
Degree: Grado en Ingeniería Informática
Date: June 2021
Subjects:
Faculty: E.T.S. de Ingenieros Informáticos (UPM)
Department: Inteligencia Artificial
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img]
Preview
PDF - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (4MB) | Preview

Abstract

Crear aplicaciones de realidad aumentada sobre la tecnología de visión por computador más vanguardista nunca ha sido fácil. Las soluciones normalmente carecen de flexibilidad tanto para cambiar el objeto en realidad aumentada, como cambiar la tarea a llevar a cabo: detección de objetos, segmentación o estimación de la pose. Además, aquellas aplicaciones flexibles no llegan a ser multi-plataforma ni rápidas ni eficientes. Este proyecto propone un nuevo enfoque basado en Unity 3D que habilita que algoritmos desarrollados en C++ por el laboratorio de Percepción Computacional y Robótica, sean ejecutados en diferentes plataformas. Utilizando sus resultados, capas de contenido gráfico se pueden mostrar encima de objetos como caras, marcadores ArUco o patrones planos de una forma llamativa, abriendo el mercado a una amplia gama de aplicaciones. Con el objetivo de facilitar el despliegue de futuros avances de la visión por computador, el proyecto también integra MediaPipe, una librería creada por Google que ofrece código libre, multi-plataforma y modelos de Machine Learning (ML) personalizables para multimedia en vivo y en directo. MediaPipe permite que nuestro proyecto despliegue cualquier solución de ML sin esfuerzo a un mundo multi-plataforma donde contenido de realidad aumentada se puede mostrar fácilmente. En comparación con otros enfoques de realidad aumentada del mercado, este es eficiente ya que usa código compilado nativo en C++ y modelos de ML muy optimizados con TensorFlow Lite. Es multi-plataforma porque está desarrollado sobre Unity y MediaPipe, y es potente y flexible ya que permite que cualquier problema de visión por computador pueda ser conectado a una aplicación de realidad aumentada sin esfuerzo.---ABSTRACT---Building augmented reality applications on top of cutting-edge computer vision technology has never been easy. Solutions usually lack flexibility to swich the target object or the target task: Object detection, segmentation or pose estimation. Furthermore, flexible solutions are either not cross-platform nor fast and efficient. This project proposes a new approach based on Unity 3D that enables the C++ algorithms developed within the "Percepción Computacional y Robótica"lab to run in several platforms. By using its outcomes, fancy layers of graphical content can be displayed on top of objects such as faces, ArUco codes or planar patterns, opening the market to a wide range of applications. In order to make future computer vision developments easier to deploy, the project also integrates MediaPipe, a library created by Google that offers open source, cross-platform, customizable Machine Learning (ML) pipelines for live and streaming media. MediaPipe allows our project to deploy any ML solution effortless to a cross-platform environment where augmented reality content can be easily displayed. In comparison with other augmented reality approaches of the market, ours is efficient since it uses native C++ compiled code and highly optimized ML modes with Tensorflow Lite. It is cross-platform because it is built on top of Unity and Mediapipe and it is powerful and flexible because it allows any computer vision problem to be plugged in an augmented reality application effortlessly.

More information

Item ID: 68051
DC Identifier: https://oa.upm.es/68051/
OAI Identifier: oai:oa.upm.es:68051
Deposited by: Biblioteca Facultad de Informatica
Deposited on: 09 Aug 2021 07:44
Last Modified: 09 Aug 2021 07:44
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM