Design of a Kinect controlled real-time facial animation method using blend shapes

Díaz García, Alfredo (2017). Design of a Kinect controlled real-time facial animation method using blend shapes. Proyecto Fin de Carrera / Trabajo Fin de Grado, E.T.S.I. y Sistemas de Telecomunicación (UPM), Madrid.

Description

Title: Design of a Kinect controlled real-time facial animation method using blend shapes
Author/s:
  • Díaz García, Alfredo
Contributor/s:
  • László, Szirmay-Kalos
Item Type: Final Project
Degree: Grado en Ingeniería de Sonido e Imagen
Date: 20 July 2017
Subjects:
Freetext Keywords: Animación por ordenador
Faculty: E.T.S.I. y Sistemas de Telecomunicación (UPM)
Department: Otro
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img]
Preview
PDF - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (2MB) | Preview

Abstract

Kinect es un dispositivo domestico creado por Microsoft para ser usado como controlador en su consola de videojuegos. Pero debido a las posibilidades de uso que ofrece en otros campos, este dispositivo empezó a ser usado por los desarrolladores para sus propios proyectos. A la vista de esto, Microsoft decidió dejar a los usuarios usar todas las librerías propias de Kinect. Desde entonces, Microsoft ha ido ampliando el número de funciones y posibilidades de las librerías. También crearon una nueva librería dedicada al reconocimiento facial, que recientemente mejoraron y publicaron como Kinect Face HD, esta librería mejora considerablemente el desempeño de Kinect en el reconocimiento facial. La animación facial de un modelo 3D no es algo sencillo y rápido de hacer. La cara de un humano tiene 43 músculos. Para poder replicar fielmente las expresiones faciales, tenemos que intentar replicar el movimiento de todos estos músculos. El uso de blend shapes es una técnica muy usada para aumentar la velocidad a la que se crean las animaciones faciales. Esta técnica hace que les sea más fácil a los animadores crear estas expresiones únicamente mediante la modificación de unos pocos parámetros. En este proyecto, vamos a usar estas tecnologías juntas. Crearemos un modelo 3D de una cabeza humana. Tras esto, crearemos los blend shapes que recrearan diferentes expresiones. Una vez hecho esto, usaremos Kinect para capturar los datos del usuario. Después, tendremos que estudiar la forma de usar la librería Face HD, dado que está muy mal documentada actualmente, y determinar cómo usar estos datos obtenidos para saber la expresión facial del usuario. Una vez que tengamos los datos del usuario analizados y los diferentes blend shapes, se debe buscar la manera de transformar estos datos en los parámetros de los blend shapes. Todo este proceso se va a realizar en tiempo real usando Unity 5.4, un motor de videojuego muy usado, para hacer trabajar todas las partes juntas. Elegimos este motor gráfico debido a que gracias a recientes actualizaciones, podremos usar las librerías de Kinect directamente en el. Abstract: Kinect is a home device created by Microsoft for its video game console to serve as a controller. But due to the great possibilities it brings in other fields, this device was quickly used by the programmers for their own purposes and projects. After this, Microsoft decided to allow the users to use the Kinect library. Since then, Microsoft has increased the number of functions and possibilities of the libraries. They also have created a new library dedicated to face tracking, that they recently evolved into another library called Face HD, that hugely improves the performance in face tracking. The facial animation of a 3D model is not an easy task. The human face has 43 muscles in total. In order to replicate the facial expressions, we have to replicate the movement of all the muscles. Blend shapes is a widely-used technique to increase the speed in facial animation. It makes easier for animators to create realistic facial expressions with just the adjustment of a few parameters. In this project, we are using these technologies together, we will create a 3D model of a human head. Then, we will create the different blend shapes recreating different expressions. After this, we will use the Kinect to capture the data of the user. Then we will study the Face HD library, that is not well documented, and determine how to use its output data in order to know what facial expression the user actually have. Once we have the data of the user and the different blend shapes, we are going to find a way to analyse this data and transform it into blend shape weights. All the process is going to be real-time using Unity, a well-known game engine, to make it work all together. In this engine, we can use Kinect libraries due to fresh updates.

More information

Item ID: 52500
DC Identifier: http://oa.upm.es/52500/
OAI Identifier: oai:oa.upm.es:52500
Deposited by: Biblioteca Universitaria Campus Sur
Deposited on: 05 Oct 2018 05:24
Last Modified: 05 Oct 2018 05:24
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM