Motion capture methods and machine learning for sign language recognition

Casas Guerrero, Jorge and Cristobal Martín, Jorge and Luengo, Javier (2019). Motion capture methods and machine learning for sign language recognition. Proyecto Fin de Carrera / Trabajo Fin de Grado, E.T.S. de Ingenieros Informáticos (UPM), Madrid, España.

Description

Title: Motion capture methods and machine learning for sign language recognition
Author/s:
  • Casas Guerrero, Jorge
  • Cristobal Martín, Jorge
  • Luengo, Javier
Contributor/s:
  • Holt, Tomas
  • Holt, Alexander
  • Ferré Grau, Xavier
Item Type: Final Project
Degree: Grado en Ingeniería Informática
Date: 3 May 2019
Subjects:
Faculty: E.T.S. de Ingenieros Informáticos (UPM)
Department: Lenguajes y Sistemas Informáticos e Ingeniería del Software
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img]
Preview
PDF - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (1MB) | Preview

Abstract

La comunicación es uno de los elementos clave de todos los seres humanos. Hay una variedad de formas posibles de comunicarse, como el lenguaje escrito, la comunicación verbal o el lenguaje de señas. Este último es uno de los más importantes, ya que es utilizado por personas que no son capaces de comunicarse a través del habla. La mayoría de los estudios de captura de movimiento han tratado de reconocer el lenguaje de signos para poder enseñarlo. En la mayoría de ellos se han utilizado tecnologías como los guantes con marcadores o las costosas cámaras para captar el reconocimiento. En este proyecto se ha estudiado el reconocimiento del lenguaje de signos mediante tecnologías asequibles y óptimas, para que la mayoría de la gente pueda acceder a ellas. De esta manera, se realiza una comparación de varias tecnologías y el desarrollo y evaluación de un sistema de software utilizando la tecnología elegida, construyendo un sistema final utilizando el Leap Motion Controller, Microsoft Kinect y TensorFlow, que es capaz de reconocer 17 signos estáticos, con una precisión de casi el 100 %, y signos dinámicos.---ABSTRACT---Communication is one of the key elements of all humans. There are a variety of possible ways to communicate, such as written, speech or sign language. The latter is one of the most important since it is used by people who is not able to communicate through speech. Most motion capture studies had try to recognize sign language in order to teach it. In most of them, technologies such as marker gloves or expensive cameras has been used to achieve the recognition. In this project, the recognition of sign language using affordable and optimal technologies has been studied, so most of the people can access them. In this way, a comparison of several technologies and the development and evaluation of a software system using the chosen one is carried out, building a final system using the Leap Motion Controller, Microsoft Kinect and TensorFlow, which is capable of recognizing 17 static sings, with an accuracy of almost 100%, and dynamic signs.

More information

Item ID: 56792
DC Identifier: http://oa.upm.es/56792/
OAI Identifier: oai:oa.upm.es:56792
Deposited by: Biblioteca Facultad de Informatica
Deposited on: 09 Oct 2019 11:32
Last Modified: 09 Oct 2019 11:40
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM