Traductor automático de la lengua de signos española a español mediante visión por computador y redes

Bachiller Matallana, Laura (2019). Traductor automático de la lengua de signos española a español mediante visión por computador y redes. Proyecto Fin de Carrera / Trabajo Fin de Grado, E.T.S.I. Industriales (UPM).

Description

Title: Traductor automático de la lengua de signos española a español mediante visión por computador y redes
Author/s:
  • Bachiller Matallana, Laura
Contributor/s:
  • Barrientos Cruz, Antonio
  • Martin Barrios, Andrés
Item Type: Final Project
Degree: Grado en Ingeniería en Tecnologías Industriales
Date: September 2019
Subjects:
Freetext Keywords: Lengua de signos, redes neuronales, análisis de componentes principales, YCbCr, Matlab
Faculty: E.T.S.I. Industriales (UPM)
Department: Automática, Ingeniería Eléctrica y Electrónica e Informática Industrial
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img]
Preview
PDF - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (2MB) | Preview

Abstract

En este proyecto se ha llevado a cabo el desarrollo de un traductor automático de la lengua de signos al español. Este traductor está compuesto únicamente de una cámara y un software. Para ello se ha realizado un estudio previo de proyectos similares que se han clasificados según dos factores: el uso de dispositivos externos y el idioma correspondiente a la lengua de signos. Todos los proyectos relacionados con este tema constan de dos partes bien diferenciadas, siendo estas, la parte de detección de mano mediante Vision por Computador y la parte del reconocimiento del signo realizado por el usuario. Para la parte de la detección se observan diferencias notables entre los distintos proyectos ya que en la gran mayoría se usan dispositivos externos para conseguir la mano detectada, siendo estos dispositivos externos, guantes electrónicos especialmente diseñados para transmitir información sobre la postura de la mano, el dispositivo Leap Motion Controller que detecta y rastrea la posición de los dedos, las manos y otros objetos, y el sensor Kinect que permite capturar, reconocer y posicionar el esqueleto humano en el plano. Sin embargo para la parte del reconocimiento, todos los proyectos coinciden en el uso de redes neuronales. Estos tres dispositivos presentan la misma desventaja, y es el hecho de que los tres dispositivos conllevan una mala portabilidad y que no sea asequible para todo el mundo si no, únicamente para aquellos que disponen o pueden disponer de dichos dispositivos. En este documento se propone un traductor automático de la lengua de signos al español que conste únicamente de una cámara y un software. A diferencia de los otros proyectos en los que se emplean dispositivos externos para la detección de manos en este proyecto se ha desarrollado un algoritmo que consiste en detectar la piel mediante segmentación de la imagen ajustando los niveles de YCbCr, y la detección de la cara del usuario por separado, para tras ello “eliminar la cara de la detección de la piel”. Para la parte del reconocimiento de los signos se ha desarrollado al igual que en los proyectos estudiados previamente una red neuronal.

More information

Item ID: 56677
DC Identifier: http://oa.upm.es/56677/
OAI Identifier: oai:oa.upm.es:56677
Deposited by: Biblioteca ETSI Industriales
Deposited on: 04 Oct 2019 07:50
Last Modified: 03 Dec 2019 23:30
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM