@unpublished{upm40615, doi = {10.20868/UPM.thesis.40615}, title = {Multi-textured 3D humanoid reconstruction through passive and active automatic techniques = Reconstrucci{\'o}n de humanoides 3D multi-texturados mediante t{\'e}cnicas pasivas y activas autom{\'a}ticas}, school = {Telecomunicacion}, note = {Unpublished}, year = {2016}, url = {https://oa.upm.es/40615/}, author = {Pag{\'e}s Scasso, Rafael}, abstract = {The proliferation of video games and other applications of computer graphics in everyday life demands a much easier way to create animatable virtual human characters. Traditionally, this has been the job of highly skilled artists and animators that painstakingly model, rig and animate their avatars, and usually have to tune them for each application and transmission/rendering platform. The emergence of virtual/mixed reality environments also calls for practical and costeffective ways to produce custom models of actual people. The purpose of the present dissertation is bringing 3D human scanning closer to the average user. For this, two different techniques are presented, one passive and one active. The first one is a fully automatic system for generating statically multi-textured avatars of real people captured with several standard cameras. Our system uses a state-of-the-art shape from silhouette technique to retrieve the shape of subject. However, to deal with the lack of detail that is common in the facial region for these kind of techniques, which do not handle concavities correctly, our system proposes an approach to improve the quality of this region. This face enhancement technique uses a generic facial model which is transformed according to the specific facial features of the subject. Moreover, this system features a novel technique for generating view-independent texture atlases computed from the original images. This static multi-texturing system yields a seamless texture atlas calculated by combining the color information from several photos. We suppress the color seams due to image misalignments and irregular lighting conditions that multi-texturing approaches typically suffer from, while minimizing the blurring effect introduced by color blending techniques. The second technique features a system to retrieve a fully animatable 3D model of a human using a commercial depth sensor. Differently to other approaches in the current state of the art, our system does not require the user to be completely still through the scanning process, and neither the depth sensor is moved around the subject to cover all its surface. Instead, the depth sensor remains static and the skeleton tracking information is used to compensate the user's movements during the scanning stage. RESUMEN La popularizaci{\'o}n de videojuegos y otras aplicaciones de los gr{\'a}ficos por ordenador en el d{\'i}a a d{\'i}a requiere una manera m{\'a}s sencilla de crear modelos virtuales humanos animables. Tradicionalmente, estos modelos han sido creados por artistas profesionales que cuidadosamente los modelan y animan, y que tienen que adaptar espec{\'i}ficamente para cada aplicaci{\'o}n y plataforma de transmisi{\'o}n o visualizaci{\'o}n. La aparici{\'o}n de los entornos de realidad virtual/mixta aumenta incluso m{\'a}s la demanda de t{\'e}cnicas pr{\'a}cticas y baratas para producir modelos 3D representando personas reales. El objetivo de esta tesis es acercar el escaneo de humanos en 3D al usuario medio. Para ello, se presentan dos t{\'e}cnicas diferentes, una pasiva y una activa. La primera es un sistema autom{\'a}tico para generar avatares multi-texturizados de personas reales mediante una serie de c{\'a}maras comunes. Nuestro sistema usa t{\'e}cnicas del estado del arte basadas en shape from silhouette para extraer la forma del sujeto a escanear. Sin embargo, este tipo de t{\'e}cnicas no gestiona las concavidades correctamente, por lo que nuestro sistema propone una manera de incrementar la calidad en una regi{\'o}n del modelo que se ve especialmente afectada: la cara. Esta t{\'e}cnica de mejora facial usa un modelo 3D gen{\'e}rico de una cara y lo modifica seg{\'u}n los rasgos faciales espec{\'i}ficos del sujeto. Adem{\'a}s, el sistema incluye una novedosa t{\'e}cnica para generar un atlas de textura a partir de las im{\'a}genes capturadas. Este sistema de multi-texturizaci{\'o}n consigue un atlas de textura sin transiciones abruptas de color gracias a su manera de mezclar la informaci{\'o}n de color de varias im{\'a}genes sobre cada tri{\'a}ngulo. Todas las costuras y discontinuidades de color debidas a las condiciones de iluminaci{\'o}n irregulares son eliminadas, minimizando el efecto de desenfoque de la interpolaci{\'o}n que normalmente introducen este tipo de m{\'e}todos. La segunda t{\'e}cnica presenta un sistema para conseguir un modelo humano 3D completamente animable utilizando un sensor de profundidad. A diferencia de otros m{\'e}todos del estado de arte, nuestro sistema no requiere que el usuario est{\'e} completamente quieto durante el proceso de escaneado, ni mover el sensor alrededor del sujeto para cubrir toda su superficie. Por el contrario, el sensor se mantiene est{\'a}tico y el esqueleto virtual de la persona, que se va siguiendo durante el proceso, se utiliza para compensar sus movimientos durante el escaneado.}, keywords = {Human avatar generation, view-independent multi-texturing, 3D face reconstruction = Generaci{\'o}n de avatares humanos, multi-texturado independiente del punto de vista, reconstrucci{\'o}n facial 3D} }