Design of eye tracker for disabled people communication

Artiach Hortelano, Tomás (2020). Design of eye tracker for disabled people communication. Proyecto Fin de Carrera / Trabajo Fin de Grado, E.T.S.I. y Sistemas de Telecomunicación (UPM), Madrid.

Description

Title: Design of eye tracker for disabled people communication
Author/s:
  • Artiach Hortelano, Tomás
Contributor/s:
  • Benavente Peces, César
Item Type: Final Project
Degree: Grado en Ingeniería Electrónica de Comunicaciones
Date: September 2020
Subjects:
Freetext Keywords: Personas con discapacidad; Redes neuronales; Reconocimiento de imágenes
Faculty: E.T.S.I. y Sistemas de Telecomunicación (UPM)
Department: Ingeniería Audiovisual y Comunicaciones [hasta 2014]
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img]
Preview
PDF - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (1MB) | Preview
[img] Archive (ZIP) - Users in campus UPM only
Download (5MB)

Abstract

En el mundo actual en el que vivimos los ordenadores son capaces de hacer casi cualquier cosa. Normalmente lo que es una tarea complicada para un humano, es una tarea muy sencilla para un ordenador. Por ejemplo, memorizar una lista muy larga o hacer cálculos muy complejos. Sin embargo las tareas que nos resultan mas sencillas e intuitivas son las más difíciles de llevar a cabo por un ordenador. Como por ejemplo ser capaz de reconocer objetos en imágenes o ser capaz de procesar una frase y dar una respuesta acorde. Gracias al avance de la Inteligencia Artificial y en concreto del Aprendizaje Automático y el Aprendizaje Profundo ha sido posible desarrollar otro tipo de inteligencia para los ordenadores. Hoy en día, estos son capaces de conducir un coche o tener una conversación. Un problema que se ha estado investigando durante más de un siglo es el de poder predecir donde está mirando una persona. Y desde luego, gracias a la Inteligencia Artificial esta tarea se ha simplificado considerablemente dando lugar a herramientas muy precisas capaces de seguir la mirada de una persona. Diseño de dispositivo de seguimiento de la mirada para comunicación de personas discapacitadas es un proyecto que se basa en las tecnologías de Aprendizaje Automático y Aprendizaje Profundo y trata de resolver un problema básico para cierto tipo de personas discapacitadas: Aquellas que únicamente pueden mover los ojos a su voluntad. Entrenando un modelo de redes neuronales convolucionales y profundas, se intenta desarrollar una aplicación que sea capaz de reconocer donde un usuario está mirando en una pantalla y poder determinar así lo que quiere comunicar. Con el uso de Python y keras se desarrolla una arquitectura basada en redes neuronales convolucionales, la cual es entrenada y compilada para su ejecución en una aplicación iOS mediante la librería coremltools para Python desarrollada por Apple. Mediante el programa XCode y el lenguaje de programación Swift se desarrolla una app donde se diseña una interfaz gráfica y se programa la lógica correspondiente con el modelo compilado integrado. Los resultados del proyecto son mejorables con más tiempo y recursos como capacidad de procesamiento. El modelo consigue una precisión que mejora el puro azar pero que está lejos del estado del arte. En cuanto a la aplicación se encontraron problemas en el desarrollo de ésta y no se pudo conseguir una aplicación que funcionase correctamente. Se deja como posible futuro trabajo. Abstract: In today’s world we live in, computers are capable of doing almost anything. Normally what is a complicated task for a human, is a very simple task for a computer. For example, memorizing a very long list or doing very complex calculations. However, the tasks that are simpler and more intuitive are the most difficult to carry out on a computer. For example, being able to recognize objects in images or being able to process a sentence and give an appropriate response. Thanks to the advancement of Artificial Intelligence and specifically Machine Learning and Deep Learning, it has been possible to develop another type of intelligence for computers. Today, these are able to drive a car or have a conversation. A problem that has been researched for over a century is being able to predict where a person is looking. And of course, thanks to Artificial Intelligence, this task has been considerably simplified, giving rise to very precise tools capable of following a person’s gaze. Design of eye tracker device for communication of disabled people is a project that is based on Machine Learning and Deep Learning technologies and tries to solve a basic problem for certain types of disabled people: Those who can only move their eyes to their will. By training a model of deep and convolutional neural networks, we will try to develop an application that is capable of recognizing where a user is looking on a screen and thus being able to determine what they want to communicate. With the use of Python and keras, an architecture based on convolutional neural networks is developed, which is trained and compiled for execution in an iOS application using the coremltools library for Python developed by Apple. Using the XCode program and the Swift programming language, an application is developed where a graphical interface is designed and the corresponding logic is programmed with the integrated compiled model. The results of the project can be improved with more time and resources such as processing capacity. The model achieves a precision that improves pure chance but is far from the state of the art. As for the application, problems were found with its development and it wasn’t possible to complete a fully functioning app. It is left as possible future work.

More information

Item ID: 66695
DC Identifier: http://oa.upm.es/66695/
OAI Identifier: oai:oa.upm.es:66695
Deposited by: Biblioteca Universitaria Campus Sur
Deposited on: 13 Apr 2021 05:31
Last Modified: 12 Jun 2021 22:30
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM