Entrenamiento evolutivo de autoencoders

Abstract

Pese a que la retropropagación de gradiente es el principal algoritmo de aprendizaje
utilizado en Deep Learning, tiene limitaciones como la tendencia a cero de los
pesos durante el entrenamiento, el sobre-ajuste o su elevado coste computacional.
Estos problemas se tratan con soluciones como el entrenamiento por lotes, el uso de
funciones de activación que no saturan para valores elevados, como la ReLU o métodos
de inicialización heurísticos. En trabajos previos se ha estudiado la posibilidad
de utilizar algoritmos genéticos para llevar a cabo el proceso de entrenamiento con
mejores resultados y menor coste que utilizando la retropropagación de gradiente,
aunque no se han probado en redes neuronales de tamaño medio o mayores. El objetivo
del presente trabajo es implementar un algoritmo genético con codificación
real para el entrenamiento evolutivo de autoencoders utilizando el operador de cruce
MMX. Así mismo, se evalua su comportamiento en redes con más de un millón
de conexiones. Para ello, se proponen dos aportaciones nuevas: realizar un entrenamiento
evolutivo por lotes para reducir el coste de cada iteracióon del algoritmo sin
afectar a la calidad de las soluciones, y la utilización de los métodos de inicialización
heurísticos propuestos por Glorot y He.---ABSTRACT---Backpropagation is the most used training algorithm in Deep Learning, however,
it has limitations, such as vanishing or exploding gradient, overfitting and its high
computational cost. Those problems are addressed with solutions like batch training,
the usage of activations functions that don't saturate on high values, like ReLU, or
heuristic initialization methods. Genetic Algorithms using the crossover operator
MMX have been used to train neural networks with better results and lower computational
costs than using gradient backpropagation, however, those methods have
not been tested on medium-sized or big neural networks. The goal of this work is
to implement a real-coded genetic algorithm to train autoencoders using the MMX
crossover operator and evaluate its behavior in neural networks with more than
one million connections. In order to do that, two contributions are proposed: batch
evolutionary training to reduce the computational cost per generation without affecting
the quality of the solutions and the usage of the heuristic initialization methods
proposed by Glorot and He.