Sistema de interpretación de paneles de tiempo de espera en transporte para personas con discapacidad visual

Abstract

En el día a día, la mayor parte de la información necesaria para que las personas realicen su vida cotidiana se recibe de forma visual, mediante los ojos. La visión desempeña un papel fundamental en la vida de las personas y en su capacidad de ser autónomos. Teniendo en cuenta que el número de personas que sufren algún tipo de discapacidad visual en el mundo asciende a 1.600 millones, lo que supone un porcentaje del 17% de la población mundial, parece obvio pensar que existen muchas personas que pueden sufrir dificultades en su día a día. El objetivo de este proyecto es contribuir, en la medida de lo posible, a facilitar una acción cotidiana para muchas de estas personas, como es la de utilizar el transporte público. Para ello, se ha desarrollado un sistema capaz de identificar el tiempo de espera para el próximo tren de la red de Metro de Madrid para, después, transmitirlo de una manera alternativa a la visual, en este caso auditiva, a personas con dificultades visuales. El sistema se compone de diversos módulos que utilizan distintas tecnologías para poder conseguir el propósito de reconocer el tiempo de espera en los paneles electrónicos informativos de la red de Metro y comunicárselo al usuario. De manera resumida, el modus operandi del sistema consiste en realizar una ráfaga de cinco instantáneas en un segundo para poder seleccionar la de mayor calidad. A continuación, mediante herramientas de detección de objetos, apoyadas en aprendizaje automático, se detecta el panel informativo que contiene el tiempo de espera. Después, esa imagen con el panel detectado es procesada para facilitar la tarea de reconocimiento del texto, que es llevada a cabo también por herramientas basadas en aprendizaje automático. Una vez se ha conseguido detectar el texto, este es analizado por herramientas de comprensión del lenguaje, para poder obtener su verdadero significado. Por último, mediante tecnologías de texto a voz, se genera información auditiva, que contiene el tiempo de espera, para transmitir al usuario mediante a altavoz o auricular. En este proyecto, para poder llevar a cabo el desarrollo del sistema, ha sido necesario realizar la instalación y configuración de las herramientas utilizadas, así como la codificación del sistema, utilizando herramientas de código abierto. Por último, todos los resultados del desarrollo han sido comprobados para poder realizar la selección de herramientas y obtener estadísticas sobre el rendimiento del sistema.
Abstract:
In everyday life, most of the information necessary for people to carry out their daily lives is received visually, through the eyes. Vision plays a fundamental role in people's lives and in their ability to be autonomous. Considering that the number of people who suffer some type of visual disability in the world amounts to 1,600 million, which represents a percentage of 17% of the world's population, it seems obvious to think that there are many people who may suffer difficulties in their daily lives. The aim of this project is to contribute, as far as possible, to facilitate a daily action for many of these people, such as using public transport. To this end, a system has been developed capable of identifying the waiting time for the next train on the Metro de Madrid network and then transmitting it in an alternative way to visual, in this case auditory, to people with visual difficulties. The system is made up of different modules that use different technologies to achieve the purpose of recognising the waiting time on the electronic information panels of the Metro network and communicating it to the user. In summary, the modus operandi of the system consists of making a burst of five snapshots in one second in order to select the highest quality. Then, by using object detection tools, supported by automatic learning, the information panel containing the waiting time is detected. This image with the detected panel is then processed to facilitate the task of text recognition, which is also carried out by tools based on automatic learning. Once the text has been detected, it is analysed by language comprehension tools, in order to obtain its true meaning. Finally, through text-to-speech technologies, auditory information is generated, containing the waiting time, to be transmitted to the user through a loudspeaker or headset. In this project, in order to carry out the development of the system, it has been necessary to carry out the installation and configuration of the tools used, as well as the coding of the system, using open source tools. Finally, all the results of the development have been checked in order to be able to make the selection of tools and obtain statistics on the performance of the system.