Parallelized optimization for gradient-based machine learning algorithms in deep networks

Basarte Fernandez, Ignacio (2018). Parallelized optimization for gradient-based machine learning algorithms in deep networks. Proyecto Fin de Carrera / Trabajo Fin de Grado, E.T.S.I. de Sistemas Informáticos (UPM), Madrid.

Descripción

Título: Parallelized optimization for gradient-based machine learning algorithms in deep networks
Autor/es:
  • Basarte Fernandez, Ignacio
Director/es:
  • Mozo Velasco, Alberto
  • Gómez Canaval, Sandra
Tipo de Documento: Proyecto Fin de Carrera/Grado
Grado: Grado en Ingeniería del Software
Fecha: 2018
Materias:
Palabras Clave Informales: Machine Learning
Escuela: E.T.S.I. de Sistemas Informáticos (UPM)
Departamento: Sistemas Informáticos
Licencias Creative Commons: Reconocimiento - Sin obra derivada - No comercial

Texto completo

[img]
Vista Previa
PDF (Document Portable Format) - Se necesita un visor de ficheros PDF, como GSview, Xpdf o Adobe Acrobat Reader
Descargar (1MB) | Vista Previa

Resumen

Los algoritmos de Machine Learning se benefician de la gran cantidad de datos disponible. Cuanto mayor sea el conjunto de datos que se utiliza, mejor será el entre- namiento. Sin embargo, ésto implica que se requieran cada vez más tiempo y recursos para obtener resultados. Una forma de paliar esta limitación es buscar formas alternativas para optimizar algunas tareas realizadas por algoritmos de Machine Learning. Otra forma de optimizar estos procesos consiste en recurrir a las plataformas de computación distribuida que ofrecen la posibilidad de escalar recursos para afrontar la necesidad de un alto consumo de recursos computacionales. Sin embargo, ante ésta última posibilidad surge un problema que está relacionado con los algoritmos que se utilizan para la fase de entrenamiento de los datos. Estos algoritmos son de naturaleza iterativa, es decir, cada paso depende del anterior y por lo tanto no hay una forma natural o directa de paralelizar estos pasos. En este Trabajo de Fin de Grado se abordará el problema de la paralelización de algunas tareas dentro de los algoritmos de Machine Learning. En particular, se hará un estudio del arte sobre el problema abordando las distintas aproximaciones y soluciones que se han planteado en la literatura, estudiando su viabilidad y probando las más prometedoras para paliar las limitaciones existentes. Adicionalmente, en este Trabajo se implementado una aplicación con Keras sobre TensorFlow Distribuido, con el fin de codificar las soluciones seleccionadas y comprobar, de forma práctica, la viabilidad de un enfoque paralelo y distribuido para solucionar las limitaciones antes mencionadas. Finalmente, se introduce un análisis sobre los resultados obtenidos, las soluciones implementadas y las conclusiones obtenidas. Abstract: Machine Learning algorithms benefit from the large amount of data available. The larger the datasets used, the better the training. However, this implies a growth in the time and resources required to obtain results. One way to alleviate this limitation is to look for alternative ways to optimize some tasks performed by Machine Learning algorithms. Another way to optimize these processes is to resort to distributed computing platforms that offer the possibility of scaling up resources to meet the need for high consumption of computational resources. However, against this last possibility, a problem related to the algorithms that are used for the training phase of the data arises. These algorithms are iterative in nature, that is, each step depends on the previous one and therefore there is no natural or direct way to parallelize these steps. In this Final Project, the problem of the parallelization of some tasks within the Machine Learning algorithms will be addressed. In particular, a study of the art on the problem will be made by addressing the different approaches and solutions that have been raised in the literature, studying their feasibility and testing the most promising in mitigating the existing limitations. Additionally, an application with Keras over Distri- buted TensorFlow was implemented in this work, in order to test the selected solutions and check, in a practical way, the viability of a parallel and distributed approach to solve the aforementioned limitations. Finally, an analysis on the results obtained, the implemented solutions and the conclusions obtained is introduced.

Más información

ID de Registro: 51904
Identificador DC: http://oa.upm.es/51904/
Identificador OAI: oai:oa.upm.es:51904
Depositado por: Biblioteca Universitaria Campus Sur
Depositado el: 09 Ago 2018 08:36
Ultima Modificación: 09 Ago 2018 08:36
  • GEO_UP4
  • Open Access
  • Open Access
  • Sherpa-Romeo
    Compruebe si la revista anglosajona en la que ha publicado un artículo permite también su publicación en abierto.
  • Dulcinea
    Compruebe si la revista española en la que ha publicado un artículo permite también su publicación en abierto.
  • Recolecta
  • InvestigaM
  • Observatorio I+D+i UPM
  • OpenCourseWare UPM