Entrenamiento evolutivo de autoencoders

Goikoetxea Pardo, Darío (2018). Entrenamiento evolutivo de autoencoders. Tesis (Master), E.T.S. de Ingenieros Informáticos (UPM).

Descripción

Título: Entrenamiento evolutivo de autoencoders
Autor/es:
  • Goikoetxea Pardo, Darío
Director/es:
  • Manrique Gamo, Daniel
  • Serrano Fernández, Emilio
Tipo de Documento: Tesis (Master)
Título del máster: Inteligencia Artificial
Fecha: 2018
Materias:
Escuela: E.T.S. de Ingenieros Informáticos (UPM)
Departamento: Inteligencia Artificial
Licencias Creative Commons: Reconocimiento - Sin obra derivada - No comercial

Texto completo

[img]
Vista Previa
PDF (Document Portable Format) - Se necesita un visor de ficheros PDF, como GSview, Xpdf o Adobe Acrobat Reader
Descargar (590kB) | Vista Previa

Resumen

Pese a que la retropropagación de gradiente es el principal algoritmo de aprendizaje utilizado en Deep Learning, tiene limitaciones como la tendencia a cero de los pesos durante el entrenamiento, el sobre-ajuste o su elevado coste computacional. Estos problemas se tratan con soluciones como el entrenamiento por lotes, el uso de funciones de activación que no saturan para valores elevados, como la ReLU o métodos de inicialización heurísticos. En trabajos previos se ha estudiado la posibilidad de utilizar algoritmos genéticos para llevar a cabo el proceso de entrenamiento con mejores resultados y menor coste que utilizando la retropropagación de gradiente, aunque no se han probado en redes neuronales de tamaño medio o mayores. El objetivo del presente trabajo es implementar un algoritmo genético con codificación real para el entrenamiento evolutivo de autoencoders utilizando el operador de cruce MMX. Así mismo, se evalua su comportamiento en redes con más de un millón de conexiones. Para ello, se proponen dos aportaciones nuevas: realizar un entrenamiento evolutivo por lotes para reducir el coste de cada iteracióon del algoritmo sin afectar a la calidad de las soluciones, y la utilización de los métodos de inicialización heurísticos propuestos por Glorot y He.---ABSTRACT---Backpropagation is the most used training algorithm in Deep Learning, however, it has limitations, such as vanishing or exploding gradient, overfitting and its high computational cost. Those problems are addressed with solutions like batch training, the usage of activations functions that don't saturate on high values, like ReLU, or heuristic initialization methods. Genetic Algorithms using the crossover operator MMX have been used to train neural networks with better results and lower computational costs than using gradient backpropagation, however, those methods have not been tested on medium-sized or big neural networks. The goal of this work is to implement a real-coded genetic algorithm to train autoencoders using the MMX crossover operator and evaluate its behavior in neural networks with more than one million connections. In order to do that, two contributions are proposed: batch evolutionary training to reduce the computational cost per generation without affecting the quality of the solutions and the usage of the heuristic initialization methods proposed by Glorot and He.

Más información

ID de Registro: 51661
Identificador DC: http://oa.upm.es/51661/
Identificador OAI: oai:oa.upm.es:51661
Depositado por: Biblioteca Facultad de Informatica
Depositado el: 17 Jul 2018 07:19
Ultima Modificación: 17 Jul 2018 07:20
  • GEO_UP4
  • Open Access
  • Open Access
  • Sherpa-Romeo
    Compruebe si la revista anglosajona en la que ha publicado un artículo permite también su publicación en abierto.
  • Dulcinea
    Compruebe si la revista española en la que ha publicado un artículo permite también su publicación en abierto.
  • Recolecta
  • InvestigaM
  • Observatorio I+D+i UPM
  • OpenCourseWare UPM