Desarrollo de un sistema automático de reconocimiento de lenguaje de signos

Alcázar Fernández, Aitor (2019). Desarrollo de un sistema automático de reconocimiento de lenguaje de signos. Proyecto Fin de Carrera / Trabajo Fin de Grado, E.T.S.I. y Sistemas de Telecomunicación (UPM), Madrid.

Description

Title: Desarrollo de un sistema automático de reconocimiento de lenguaje de signos
Author/s:
  • Alcázar Fernández, Aitor
Contributor/s:
  • Sáenz Lechón, Nicolás
Item Type: Final Project
Degree: Grado en Ingeniería de Sistemas de Telecomunicación
Date: 25 July 2019
Subjects:
Freetext Keywords: Personas con discapacidad; Redes neuronales; Reconocimiento de imágenes
Faculty: E.T.S.I. y Sistemas de Telecomunicación (UPM)
Department: Ingeniería Audiovisual y Comunicaciones [hasta 2014]
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img]
Preview
PDF - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (3MB) | Preview

Abstract

Actualmente, las personas con discapacidades auditivas y del habla recurren al lenguaje de signos para comunicarse entre sí, pero es una actividad que únicamente se puede realizar de forma presencial y entre personas que conozcan dicha lengua. Para poder establecer la comunicación con el resto de las personas, es necesario recurrir a un intermediario o traductor, que haga las veces de emisor y receptor entre ambos. Esto resulta poco práctico y, en la mayoría de las ocasiones, costoso. Se pretende con este proyecto desarrollar un sistema capaz de traducir en tiempo real la detección de signos aislados de la lengua de signos americana (American Sign Language - ASL). El software consiste en una inteligencia artificial entrenada para monitorizar los movimientos de las manos de la persona situada frente a la cámara de un terminal móvil, y mostrar por pantalla el signo traducido en ese momento sobre la imagen captada. Para ello, se han seguido dos líneas de investigación: con la primera, se ha desarrollado un traductor del alfabeto de la ASL recogiendo imágenes desde una cámara IP en un terminal móvil, procesando los datos y mostrando los resultados en el ordenador. La segunda línea de investigación ha sido más ambiciosa, pues se ha conseguido traducir cuatro signos dinámicos aislados, y desplegar el sistema creado en un terminal móvil Android, el cual ejecuta una aplicación autónoma de traducción de estos signos en tiempo real. Gracias al desarrollo de este sistema, el grado de adaptación para las personas con dichas dificultades comunicativas puede lograr un crecimiento de gran magnitud en distintos aspectos: de manera social, dando pie a una comunicación más amplia y acercando la ASL a todos; cultural, educando a las personas que carecen de los conocimientos necesarios para comunicarse con ellos; y económico, pues supone abaratar los costes relacionados con traductores personales y cursos formativos. Abstract: Nowadays, people with hearing and speech disabilities use sign language to communicate with each other. It is a face-to-face activity and only for people who know the language. In order to establish communication with the rest of the people, it is necessary to resort to an intermediary or translator, who acts as sender and receiver between them. Commonly, it is impractical and expensive. The purpose of this project is to develop a system capable of capturing images from the camera of a mobile phone and translate and recognize in real time some isolated signs of the American Sign Language (ASL). The software consists on an Artificial Intelligence trained to monitor the movements of the hands of the person located in front of the camera, and to display on the screen the sign translated at that moment on the captured image. To make this possible, two lines of research have been followed. On the one hand, by capturing images from an IP camera on the mobile phone, a translator of the ASL alphabet has been developed. This system captures the images from the mobile phone and process the data and shows the results in the computer. On the other hand, a more capable system has been developed. Four ASL dynamic and isolated signs has been translated using this technology, giving the possibility to deploy it on an Android autonomous application for translate these signs on real time. Thanks to the development of this system, the degree of adaptation for people with such communicative difficulties can lead to a great growth in different aspects: socially, giving rise to a wider communication and bringing the ASL closer to everyone; cultural, educating people who lack the necessary knowledge to communicate with them; and economic, because it can reduce the costs related to personal translators and training courses.

More information

Item ID: 56626
DC Identifier: http://oa.upm.es/56626/
OAI Identifier: oai:oa.upm.es:56626
Deposited by: Biblioteca Universitaria Campus Sur
Deposited on: 01 Oct 2019 14:45
Last Modified: 01 Oct 2019 14:45
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM