Diseño de un sistema de reconocimiento y detección automática de escritura en el aire mediante arquitecturas ResNet

Abstract

En aplicaciones en las que no se dispone de dispositivos de entrada de texto, como pueden ser los teclados, la escritura en el aire se convierte en una gran alternativa para la interacción hombre-máquina, la cual es sencilla e intuitiva para el usuario y, por lo tanto, una línea de investigación muy innovadora. El número de potenciales aplicaciones es muy amplio: introducción de texto en SmartTVs para facilitar la búsqueda de canales o contenidos, interacción con electrodomésticos y dispositivos de consumo en el campo de la domótica, inmersividad en entornos virtuales, etc.
En este proyecto se desarrollará un sistema de escritura en el aire. Se entrenará un modelo basado en redes neuronales convolucionales residuales a partir de una base de datos formada por imágenes en infrarrojo, captadas por el sensor Leap Motion. A diferencia de otros trabajos que emplean la información de la trayectoria del dedo, el uso de imágenes permite un mayor grado de fiabilidad, ya que se evita ciertos errores derivados de trayectorias incorrectas que dificultan el reconocimiento del carácter. Las distintas etapas del sistema son: captación de imágenes de infrarrojo para la generación de una base de datos, adaptación de los datos para el posterior entrenamiento del sistema y su clasificación.
Para finalizar, se realizarán una serie de experimentos para evaluar los resultados del aprendizaje y comprobar el correcto funcionamiento del sistema.