Desarrollo de un sistema de detección de gestos de las manos en imágenes de color utilizando arquitecturas ResNet

Abstract

La detección automática de gestos tiene un elevado número de aplicaciones y juega un papel muy importante en la relación entre humanos y máquinas. Entre ellas cabe destacar el reconocimiento del lenguaje de signos, el control de pantallas para juegos, la interacción en entornos de realidad virtual o realidad aumentada, así como el control de dispositivos sin tocarlos para su uso en diversos entornos como puede ser la medicina. El principal objetivo de este trabajo es el desarrollo de un sistema basado en una arquitectura de red neuronal ResNet capaz de distinguir entre los diversos gestos que conforman el vocabulario. La adquisición de los datos se realizará moviendo la mano con el objetivo de obtener una mayor dispersión en los datos capturando imágenes en las que la mano aparezca en distintas posiciones de la misma. Con el fin de identificar correctamente los gestos en las distintas zonas de la imagen en las que se puede encontrar, se han realizado modificaciones sobre la implementación ResNet estándar. Estas modificaciones consisten en la creación de una estructura de red en la cual distintas partes de esta se encarguen de analizar el contenido de diversas zonas de la imagen. De esta forma, se ha creado una nueva estructura de red más flexible y capaz de obtener mejores resultados. Mediante esta nueva estructura de red se obtiene una mejor identificación de los diversos gestos de la base de datos. También se ha creado una base de datos propia especialmente diseñada para probar el funcionamiento del sistema.