Detection, analysis and recognition of facial expressions

Resumen

La detección de las emociones puede llevar a determinar el estado de ánimo de una persona. Este proyecto se centra en la detección de rasgos faciales clave para detectar ciertas expresiones faciales. Para los seres humanos es fácil determinar la expresión facial de otra persona, pero esto no es tan fácil cuando el procedimiento es realizado por software.
Hoy en día, los psicólogos clasifican las emociones en categorías discretas en un lenguaje común y universal. La categoría más simple se compone de seis emociones básicas derivadas de estudios transculturales: alegría, tristeza, miedo, ira, disgusto y sorpresa.
La detección de rostros en una imagen es un caso específico de la detección de objetos y consiste en un proceso por el cual las caras son localizadas en una imagen o vídeo. Este proceso no es tan simple como sería para el sistema visual humano. Existen varias limitaciones en la detección de caras que son analizadas en este proyecto como la pose, que se refiere a las diferentes posiciones/ángulos en las que un objeto puede encontrarse, o las condiciones de disparo que se refieren al brillo/luminosidad de la imagen.
En la actualidad, hay diferentes métodos para realizar la extracción de características de la cara. Mediante Matlab, Viola-Jones Object Detection Framework se utiliza en este proyecto para detectar y extraer las características de una cara humana en una imagen de entrada. Este algoritmo tiene un bajo coste computacional.
Después de la extracción de las características, se obtienen los puntos de referencia o landmarks. El número de landmarks que se obtienen y muestran son los siguientes:
5 en cada ojo, 5 en la boca y 2 en cada ceja.
En este proyecto las imágenes faciales pertenecen a la base de datos denominada MUG database concedida por Aristotle University of Thessaloniki, Grecia. Una vez obtenidos y mostrados los landmarks en la imagen de entrada se ejecuta una comparación entre la imagen de entrada y la correspondiente imagen del mismo sujeto que contiene rostro con expresión facial neutra. Dado un sistema de codificación
de las expresiones faciales previamente fijado, se realiza el reconocimiento de la expresión facial con diferentes sujetos. Los posibles resultados son: "feliz", "triste",
"sorprendido" y "expresión no clasificada". Por último se realiza un estudio de los resultados.
ABSTRACT.
The detection of facial expressions is a tool that could lead to determine the mood of a person. This thesis concentrates in the detection of key facial features to detect facial expressions. For humans it is easy to determine the facial expression of another person, but this is difficult for a computer.
Nowadays, psychologists classify the emotions into discrete categories in a common and universal language. The simplest category is composed of six basic emotions resulting from cross-cultural studies: happiness, sadness, fear, anger, disgust/displeasure and surprise.
Face detection is a specific case of object detection. Face detection is a process by which faces are located in an image or video. This process is not as simple as it would be for the human visual system. There are several limitations in face detection which are analyzed in this thesis like the pose, which refers to the different positions in which an object may be, or shooting conditions which refers to the
picture brightness.
Currently, there are different methods to perform face features extraction. Programming in Matlab, Viola-Jones Object Detection Framework is used in this thesis to detect human faces and human face features in an image. This algorithm has a low computational cost. After the features extraction, the landmarks are obtained.
The number of landmarks obtained are: 5 for each eye, 5 in for the mouth and 2 for each eyebrow.
In this thesis the facial images belong to MUG database, which was granted by Aristotle University of Thessaloniki, Greece. Once obtained and showed the landmarks in the input image, it is executed a comparison between the input image
and its same image with neutral expression. Given some previously established conditions, it is run the facial expression recognition for different subjects. The possible outcomes are: "happy", "sad", "surprise" and "expression unclassified".
Finally, a study about the results is carried out.