Development of a system for recognizing Finger-Spelling Sequences

Guijarro Casado, Álvaro (2017). Development of a system for recognizing Finger-Spelling Sequences. Proyecto Fin de Carrera / Trabajo Fin de Grado, E.T.S.I. y Sistemas de Telecomunicación (UPM), Madrid.

Description

Title: Development of a system for recognizing Finger-Spelling Sequences
Author/s:
  • Guijarro Casado, Álvaro
Contributor/s:
  • Csóka, Filip
Item Type: Final Project
Degree: Grado en Ingeniería de Sonido e Imagen
Date: 24 February 2017
Subjects:
Freetext Keywords: Algoritmos SIFT Reconocimiento de imágenes
Faculty: E.T.S.I. y Sistemas de Telecomunicación (UPM)
Department: Otro
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img]
Preview
PDF - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (3MB) | Preview
[img] Archive (ZIP) (Anexos) - Users in campus UPM only
Download (3MB)

Abstract

En la actualidad, se sigue buscando técnicas para mejorar la interacción entre personas con problemas auditivos y en el habla a través de los lenguajes de signos. La evolución de las técnicas de reconocimiento de signos está siendo muy rápida, debido a que los sistemas informáticos y los algoritmos implementados en ellos permiten tomar decisiones de manera autónoma. Los avances y el progreso realizado en los medios de interacción entre el humano y los ordenadores hacen posible crear nuevos métodos para hacer la vida más fácil a personas con este tipo de dificultades. El reconocimiento de gestos de la mano es una forma de crear una interfaz útil y altamente adaptable entre las máquinas y los usuarios, por lo tanto, el trabajo fin de grado pertenece al campo del Procesado Digital de Imágenes. El reconocimiento del Lenguaje de Señas Americano (ASL) presenta diferentes dificultades, entre ellas la gran variabilidad de los gestos de las manos humanas en la representación de los signos del alfabeto, siendo uno de los principales problemas los diferentes rasgos en la mano, como por ejemplo: el tono de la piel, el tamaño de los dedos y su posición en el gesto. Existen varios tipos de sistemas y métodos para reconocimiento del lenguaje de signos. El método elegido para el desarrollo de la tesis es muy robusto y eficiente para el reconocimiento estático del gesto de la mano. El sistema consiste en un algoritmo desarrollado en Matlab y basado en la Transformada de la característica invariante en escala también conocido como SIFT, debido a que este tipo de transformada obtiene de manera muy eficaz las características de una imagen. El principal objetivo del proyecto es proponer dicho sistema para que sea capaz de reconocer los difererentes gestos estáticos de la mano del Lenguaje de Señas Americano con el mayor éxito posible, comparando diferentes tipos de imágenes de gestos como entrada al programa con otras imágenes de gestos ya existentes en una base de datos, tras esto analizar cuales gestos son los más complicados de reconocer y obtener los ratios de éxito del sistema para las diferentes pruebas que se realizan. Abstract: Nowadays, it is still looking for techniques to improve the interaction among people with hearing and speech problems through sign languages. The evolution of the signs recognition techniques is very fast, because computer systems and algorithms implemented in them make decisions autonomously. The advances and progress made in the means of interaction between humans and computers make it possible to create new methods to make easier life for people with this type of difficulties. Recognizing hand gestures is a way to create a useful and highly adaptable interface between machines and users; therefore, the project belongs to the field of Digital Image Processing. The American Sign Language (ASL) recognition presents different difficulties, between them the great variability of human hands gestures in the signs representation of ASL alphabet, being one of the main problems the different traits in the hand, as for example: the skin tone, the fingers size and their position in the gesture. There are several types of systems and methods for sign language recognition. The chosen method for the development of the project is very robust and efficient for the static recognition of hand gesture. The system consists of an algorithm developed in Matlab and based on the Scale-Invariant Feature Transform also known as SIFT, because this type of transform obtains the features of an image very efficiently. The main goal of the project is to propose such a system so that it is able to recognize the different static hand gestures of the American Sign Language with the greatest possible success, comparing different types of gesture images as input to the program with other gesture images already existing in a database, after that analyze which gestures are the most complicated to recognize and obtain the success ratios of the system for the different tests that are done.

More information

Item ID: 52632
DC Identifier: http://oa.upm.es/52632/
OAI Identifier: oai:oa.upm.es:52632
Deposited by: Biblioteca Universitaria Campus Sur
Deposited on: 16 Oct 2018 10:27
Last Modified: 16 Oct 2018 10:27
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM