Desarrollo de un sistema de estimación de mapas de profundidad densos a partir de secuencias reales de vídeo 3D.

Sánchez Romero, Eduardo (2014). Desarrollo de un sistema de estimación de mapas de profundidad densos a partir de secuencias reales de vídeo 3D.. Proyecto Fin de Carrera / Trabajo Fin de Grado, E.T.S.I. Telecomunicación (UPM).

Description

Title: Desarrollo de un sistema de estimación de mapas de profundidad densos a partir de secuencias reales de vídeo 3D.
Author/s:
  • Sánchez Romero, Eduardo
Contributor/s:
  • Feijóo González, Claudio
Item Type: Final Project
Date: 7 May 2014
Subjects:
Freetext Keywords: Estereoscopía, 3DTV, visión artificial, correspondencia estéreo, stereo matching, imagen, vídeo, calibración, geometría epipolar, rectificación, correspondencia densa, mapa de disparidad, mapa denso, función de coste, métodos locales, optimización global, GPU, block matching, belief propagation, graph cuts, evaluación de algoritmos.
Faculty: E.T.S.I. Telecomunicación (UPM)
Department: Señales, Sistemas y Radiocomunicaciones
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img]
Preview
PDF - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (5MB) | Preview

Abstract

Este proyecto fín de carrera describe el desarrollo de un sistema de estimación de mapas de profundidad densos a partir de secuencias reales de vídeo 3D. Está motivado por la necesidad de utilizar la información de profundidad de un vídeo estéreo para calcular las oclusiones en el módulo de inserción de objetos sintéticos interactivos desarrollado en el proyecto ImmersiveTV. En el receptor 3DTV, el sistema debe procesar en tiempo real secuencias estéreo de escenas reales en alta resolución con formato Side-by-Side. Se analizan las características del contenido para conocer los problemas a enfrentar. Obtener un mapa de profundidad denso mediante correspondencia estéreo (stereo matching) permite calcular las oclusiones del objeto sintético con la escena. No es necesario que el valor de disparidad asignado a cada píxel sea preciso, basta con distinguir los distintos planos de profundidad ya que se trabaja con distancias relativas. La correspondencia estéreo exige que las dos vistas de entrada estén alineadas. Primero se comprueba si se deben rectificar y se realiza un repaso teórico de calibración y rectificación, resumiendo algunos métodos a considerar en la resolución del problema. Para estimar la profundidad, se revisan técnicas de correspondencia estéreo densa habituales, seleccionando un conjunto de implementaciones con el fin de valorar cuáles son adecuadas para resolver el problema, incluyendo técnicas locales, globales y semiglobales, algunas sobre CPU y otras para GPU; modificando algunas para soportar valores negativos de disparidad. No disponer de ground truth de los mapas de disparidad del contenido real supone un reto que obliga a buscar métodos indirectos de comparación de resultados. Para una evaluación objetiva, se han revisado trabajos relacionados con la comparación de técnicas de correspondencia y entornos de evaluación existentes. Se considera el mapa de disparidad como error de predicción entre vistas desplazadas. A partir de la vista derecha y la disparidad de cada píxel, puede reconstruirse la vista izquierda y, comparando la imagen reconstruida con la original, se calculan estadísticas de error y las tasas de píxeles con disparidad inválida y errónea. Además, hay que tener en cuenta la eficiencia de los algoritmos midiendo la tasa de cuadros por segundo que pueden procesar. Observando los resultados, atendiendo a los criterios de maximización de PSNR y minimización de la tasa de píxeles incorrectos, se puede elegir el algoritmo con mejor comportamiento. Como resultado, se ha implementado una herramienta que integra el sistema de estimación de mapas de disparidad y la utilidad de evaluación de resultados. Trabaja sobre una imagen, una secuencia o un vídeo estereoscópico. Para realizar la correspondencia, permite escoger entre un conjunto de algoritmos que han sido adaptados o modificados para soportar valores negativos de disparidad. Para la evaluación, se ha implementado la reconstrucción de la vista de referencia y la comparación con la original mediante el cálculo de la RMS y PSNR, como medidas de error, además de las tasas de píxeles inválidos e incorrectos y de la eficiencia en cuadros por segundo. Finalmente, se puede guardar las imágenes (o vídeos) generados como resultado, junto con un archivo de texto en formato csv con las estadísticas para su posterior comparación.

More information

Item ID: 35306
DC Identifier: http://oa.upm.es/35306/
OAI Identifier: oai:oa.upm.es:35306
Deposited by: Eduardo Sánchez Romero
Deposited on: 21 May 2015 10:28
Last Modified: 21 May 2015 10:28
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM