Entrenamiento evolutivo de autoencoders

Goikoetxea Pardo, Darío (2018). Entrenamiento evolutivo de autoencoders. Thesis (Master thesis), E.T.S. de Ingenieros Informáticos (UPM).

Description

Title: Entrenamiento evolutivo de autoencoders
Author/s:
  • Goikoetxea Pardo, Darío
Contributor/s:
  • Manrique Gamo, Daniel
  • Serrano Fernández, Emilio
Item Type: Thesis (Master thesis)
Masters title: Inteligencia Artificial
Date: 2018
Subjects:
Faculty: E.T.S. de Ingenieros Informáticos (UPM)
Department: Inteligencia Artificial
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img]
Preview
PDF - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (590kB) | Preview

Abstract

Pese a que la retropropagación de gradiente es el principal algoritmo de aprendizaje utilizado en Deep Learning, tiene limitaciones como la tendencia a cero de los pesos durante el entrenamiento, el sobre-ajuste o su elevado coste computacional. Estos problemas se tratan con soluciones como el entrenamiento por lotes, el uso de funciones de activación que no saturan para valores elevados, como la ReLU o métodos de inicialización heurísticos. En trabajos previos se ha estudiado la posibilidad de utilizar algoritmos genéticos para llevar a cabo el proceso de entrenamiento con mejores resultados y menor coste que utilizando la retropropagación de gradiente, aunque no se han probado en redes neuronales de tamaño medio o mayores. El objetivo del presente trabajo es implementar un algoritmo genético con codificación real para el entrenamiento evolutivo de autoencoders utilizando el operador de cruce MMX. Así mismo, se evalua su comportamiento en redes con más de un millón de conexiones. Para ello, se proponen dos aportaciones nuevas: realizar un entrenamiento evolutivo por lotes para reducir el coste de cada iteracióon del algoritmo sin afectar a la calidad de las soluciones, y la utilización de los métodos de inicialización heurísticos propuestos por Glorot y He.---ABSTRACT---Backpropagation is the most used training algorithm in Deep Learning, however, it has limitations, such as vanishing or exploding gradient, overfitting and its high computational cost. Those problems are addressed with solutions like batch training, the usage of activations functions that don't saturate on high values, like ReLU, or heuristic initialization methods. Genetic Algorithms using the crossover operator MMX have been used to train neural networks with better results and lower computational costs than using gradient backpropagation, however, those methods have not been tested on medium-sized or big neural networks. The goal of this work is to implement a real-coded genetic algorithm to train autoencoders using the MMX crossover operator and evaluate its behavior in neural networks with more than one million connections. In order to do that, two contributions are proposed: batch evolutionary training to reduce the computational cost per generation without affecting the quality of the solutions and the usage of the heuristic initialization methods proposed by Glorot and He.

More information

Item ID: 51661
DC Identifier: http://oa.upm.es/51661/
OAI Identifier: oai:oa.upm.es:51661
Deposited by: Biblioteca Facultad de Informatica
Deposited on: 17 Jul 2018 07:19
Last Modified: 17 Jul 2018 07:20
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM