Pre-training of deep neural networks through Real-Coded Genetic Algorithms

Abstract

Las redes neuronales profundas han demostrado una capacidad notable para aprender patrones y representaciones complejas a partir de datos, pero su entrenamiento se vuelve cada vez más difícil a medida que aumentan la profundidad de la red y el tamaño del conjunto de datos. Problemas como la desaparición o explosión de gradientes, el sobreajuste y los elevados requisitos computacionales dificultan el proceso de entrenamiento. El preentrenamiento ha surgido como una alternativa interesante a estos problemas, ya que proporciona a la red inicializaciones significativas. Sin embargo, los métodos de preentrenamiento existentes pueden ser costosos desde el punto de vista computacional, especialmente para grandes conjuntos de datos y arquitecturas profundas.

Este proyecto explora el uso de algoritmos genéticos con codificación real (RCGA, Real-Coded Genetic Algorithms) para el preentrenamiento de redes neuronales profundas. Los RCGA son algoritmos de optimización inspirados en la evolución natural y la genética que permiten manejar parámetros con valores reales. Al explotar las capacidades de búsqueda evolutiva de los RCGA, el proceso de preentrenamiento pretende lograr una convergencia más rápida, una mayor generalización y un mejor rendimiento general.

Para lograrlo, se siguen cuatro subtareas: recopilación del conjunto de datos, diseño de la red neuronal para el entrenamiento, desarrollo del entorno de trabajo de los algoritmos genéticos con codificación real utilizando el Cruce Morfológico Matemático y evaluación del rendimiento de los RCGA. El conjunto de datos Median House Value se utiliza para evaluar la tarea de regresión y para la tarea de clasificación se usa el conjunto de datos del problema OR exclusivo. El análisis se realiza tanto para las ejecuciones con sólo RCGA como para las ejecuciones de afinamiento.

Las conclusiones destacan el impacto significativo de los hiperparámetros RCGA en la eficacia del preentrenamiento, lo que indica el potencial de los RCGA como método de regularización para abordar el sobreajuste. Sin embargo, es necesario seleccionar cuidadosamente los hiperparámetros para evitar la explosión de gradiente en determinados algoritmos de retropropagación del gradiente.

ABSTRACT

Deep neural networks have shown remarkable ability to learn complex patterns and representations from data, but training them becomes increasingly challenging as the depth of the network and the size of the dataset increase. Problems such as vanishing or exploding gradients, overfitting, and high computational requirements hinder the training process. Pre-training has emerged as a promising solution to address these challenges by providing meaningful initialisations for the network. However, existing pre-training methods can be computationally expensive, especially for large datasets and deep architectures.

This project explores the use of Real-Coded Genetic Algorithms (RCGAs) for pretraining deep neural networks. RCGAs are optimisation algorithms inspired by natural evolution and genetics and are suitable for handling real-valued parameters. By exploiting the evolutionary search capabilities of RCGAs, the pre-training process aims to achieve faster convergence, improved generalisation and better overall performance.

To achieve this, four subtasks are followed: dataset collection, neural network design for training, development of the Real-Coded Genetic Algorithms framework using the Mathematical Morphology Crossover, and performance evaluation of the Real-Coded Genetic Algorithms. The Median House Value dataset is used to evaluate the regression task and for the classification task the exclusive OR problem dataset is used. The analysis is performed for both RCGA-only and fine-tuned executions.

The conclusions highlight the significant impact of the RCGA hyperparameters on the pre-training effectiveness, indicating the potential of RCGAs as a regularisation method to address overfitting. However, careful selection of hyperparameters is required to avoid gradient explosion in certain backpropagation algorithms.