Motion capture methods and machine learning for sign language recognition

Abstract

La comunicación es uno de los elementos clave de todos los seres humanos. Hay una variedad de formas posibles de comunicarse, como el lenguaje escrito, la comunicación verbal o el lenguaje de señas. Este último es uno de los más importantes, ya que es utilizado por personas que no son capaces de comunicarse a través del habla. La mayoría de los estudios de captura de movimiento han tratado de reconocer el lenguaje de signos para poder enseñarlo. En la mayoría de ellos se han utilizado tecnologías como los guantes con marcadores o las costosas cámaras para captar el reconocimiento. En este proyecto se ha estudiado el reconocimiento del lenguaje de signos mediante tecnologías asequibles y óptimas, para que la mayoría de la gente pueda acceder a ellas. De esta manera, se realiza una comparación de varias tecnologías y el desarrollo y evaluación de un sistema de software utilizando la tecnología elegida, construyendo un sistema final utilizando el Leap Motion Controller, Microsoft Kinect y TensorFlow, que es capaz de reconocer 17 signos estáticos, con una precisión de casi el 100 %, y signos dinámicos.---ABSTRACT---Communication is one of the key elements of all humans. There are a variety of possible ways to communicate, such as written, speech or sign language. The latter is one of the most important since it is used by people who is not able to communicate through speech. Most motion capture studies had try to recognize sign language in order to teach it. In most of them, technologies such as marker gloves or expensive cameras has been used to achieve the recognition. In this project, the recognition of sign language using affordable and optimal technologies has been studied, so most of the people can access them. In this way, a comparison of several technologies and the development and evaluation of a software system using the chosen one is carried out, building a final system using the Leap Motion Controller, Microsoft Kinect and TensorFlow, which is capable of recognizing 17 static sings, with an accuracy of almost 100%, and dynamic signs.