Full text
Preview |
PDF
- Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (1MB) | Preview |
Basarte Fernandez, Ignacio (2018). Parallelized optimization for gradient-based machine learning algorithms in deep networks. Proyecto Fin de Carrera / Trabajo Fin de Grado, E.T.S.I. de Sistemas Informáticos (UPM), Madrid.
Title: | Parallelized optimization for gradient-based machine learning algorithms in deep networks |
---|---|
Author/s: |
|
Contributor/s: |
|
Item Type: | Final Project |
Degree: | Grado en Ingeniería del Software |
Date: | 2018 |
Subjects: | |
Freetext Keywords: | Machine Learning |
Faculty: | E.T.S.I. de Sistemas Informáticos (UPM) |
Department: | Sistemas Informáticos |
Creative Commons Licenses: | Recognition - No derivative works - Non commercial |
Preview |
PDF
- Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (1MB) | Preview |
Los algoritmos de Machine Learning se benefician de la gran cantidad de datos disponible. Cuanto mayor sea el conjunto de datos que se utiliza, mejor será el entre-
namiento. Sin embargo, ésto implica que se requieran cada vez más tiempo y recursos para obtener resultados. Una forma de paliar esta limitación es buscar formas alternativas para optimizar algunas tareas realizadas por algoritmos de Machine Learning. Otra forma de optimizar
estos procesos consiste en recurrir a las plataformas de computación distribuida que ofrecen la posibilidad de escalar recursos para afrontar la necesidad de un alto consumo de recursos computacionales. Sin embargo, ante ésta última posibilidad surge un problema que está relacionado con los algoritmos que se utilizan para la fase de entrenamiento de los datos. Estos algoritmos son de naturaleza iterativa, es decir, cada paso depende del anterior y por lo tanto no hay una forma natural o directa de paralelizar estos pasos. En este Trabajo de Fin de Grado se abordará el problema de la paralelización de algunas tareas dentro de los algoritmos de Machine Learning. En particular, se hará un estudio del arte sobre el problema abordando las distintas aproximaciones y soluciones que se han planteado en la literatura, estudiando su viabilidad y probando las más prometedoras para paliar las limitaciones existentes. Adicionalmente, en este Trabajo se implementado una aplicación con Keras sobre TensorFlow Distribuido, con el fin de codificar las soluciones seleccionadas y comprobar, de forma práctica, la viabilidad de un enfoque paralelo y distribuido para solucionar las limitaciones antes mencionadas. Finalmente, se introduce un análisis sobre los resultados obtenidos, las soluciones implementadas y las conclusiones obtenidas.
Abstract:
Machine Learning algorithms benefit from the large amount of data available. The larger the datasets used, the better the training. However, this implies a growth in the time and resources required to obtain results. One way to alleviate this limitation is to look for alternative ways to optimize some tasks performed by Machine Learning algorithms. Another way to optimize these processes is to resort to distributed computing platforms that offer the possibility of scaling up resources to meet the need for high consumption of computational resources. However, against this last possibility, a problem related to the algorithms that are
used for the training phase of the data arises. These algorithms are iterative in nature, that is, each step depends on the previous one and therefore there is no natural or direct way to parallelize these steps. In this Final Project, the problem of the parallelization of some tasks within the Machine Learning algorithms will be addressed. In particular, a study of the art on the
problem will be made by addressing the different approaches and solutions that have been raised in the literature, studying their feasibility and testing the most promising in mitigating the existing limitations. Additionally, an application with Keras over Distri-
buted TensorFlow was implemented in this work, in order to test the selected solutions and check, in a practical way, the viability of a parallel and distributed approach to solve the aforementioned limitations. Finally, an analysis on the results obtained, the implemented solutions and the conclusions obtained is introduced.
Item ID: | 51904 |
---|---|
DC Identifier: | https://oa.upm.es/51904/ |
OAI Identifier: | oai:oa.upm.es:51904 |
Deposited by: | Biblioteca Universitaria Campus Sur |
Deposited on: | 09 Aug 2018 08:36 |
Last Modified: | 09 Aug 2018 08:36 |