Reconstrucción de objetos 3D en base a imágenes mediante técnicas de aprendizaje profundo

Puente Gimena, Ignacio de la (2020). Reconstrucción de objetos 3D en base a imágenes mediante técnicas de aprendizaje profundo. Thesis (Master thesis), E.T.S.I. Telecomunicación (UPM).

Description

Title: Reconstrucción de objetos 3D en base a imágenes mediante técnicas de aprendizaje profundo
Author/s:
  • Puente Gimena, Ignacio de la
Contributor/s:
  • Belmonte Hernández, Alberto
Item Type: Thesis (Master thesis)
Masters title: Ingeniería de Telecomunicación
Date: 18 June 2020
Subjects:
Faculty: E.T.S.I. Telecomunicación (UPM)
Department: Señales, Sistemas y Radiocomunicaciones
Creative Commons Licenses: None

Full text

[img]
Preview
PDF - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (3MB) | Preview

Abstract

En la actualidad, se está produciendo una evidente transición entre tecnologías de imagen en 2 dimensiones (basadas en pantallas, como es el caso de la televisión o los teléfonos móviles) hacia nuevas tecnologías que pretenden aumentar la sensación de inmersión del usuario en la escena proyectada (realidad virtual, hologramas, etc.) que incluyen información de profundidad en la imagen, es decir, exponen escenarios en 3 dimensiones. Para la representación de objetos en escenas tridimensionales, se está haciendo uso de técnicas de inteligencia artificial y, más concretamente, de aprendizaje profundo ya que son muy útiles para el procesado automático de imágenes. En este proyecto se presenta un análisis de diferentes arquitecturas de redes neuronales que permiten reconstruir modelos en 3D de cualquier objeto a partir de tres imágenes en 2D del mismo obtenidas desde vistas separadas mediante ángulos de 120º. Existen técnicas de procesado de imágenes para reconstruir volúmenes a partir de imágenes en 2D. Sin embargo, este procesado es computacionalmente costoso, y lo interesante es ver si una red neuronal es capaz de aprender a realizar esta tarea automáticamente. En concreto, se va a abordar el problema mediante el desarrollo y entrenamiento de tres redes neuronales diferentes: una red generativa antagónica (GAN) y un autocodificador para reconstruir directamente el volumen y otro autocodificador para generar el mapa de profundidad de cada vista, a través de los cuales se puede reconstruir el volumen. Tras revisar el estado del arte y observar una gran escasez de bases de datos útiles para este objetivo, se ha decidido modificar una existente, que ofrece modelos 3D de una multitud de diferentes objetos, para generar todos los datos necesarios en este proyecto. El dataset creado consiste en tripletes de imágenes RGB separados 120º obtenidos directamente de los modelos de la base de datos original. Partiendo de dichos modelos, se han creado también matrices de 3 dimensiones que representen el volumen de los objetos y que pueden emplearse como etiquetas para el entrenamiento de las dos primeras redes. Finalmente, se han creado los mapas de profundidad de cada imagen para entrenar la última red. Mediante el uso de diferentes métricas de evaluación, los resultados obtenidos muestran una interesante comparativa entre los tres métodos, presentando cada uno sus ventajas y sus desventajas, y un punto de partida para poder desarrollar otras redes que sean capaces de generar reconstrucciones más precisas. El proyecto se ha desarrollado en el lenguaje de programación Python, haciendo uso de las principales librerías de procesado de imagen (como Pillow, OpenCV y Open3D) y de aprendizaje profundo (Pytorch).

More information

Item ID: 62975
DC Identifier: http://oa.upm.es/62975/
OAI Identifier: oai:oa.upm.es:62975
Deposited by: Ignacio De la Puente Gimena
Deposited on: 13 Jul 2020 06:08
Last Modified: 13 Jul 2020 06:08
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM