Análisis de rendimiento de redes neuronales con tres estructuras diferentes = A neural network performance analysis with three different model structures

Gil Ferrer, Alejandro (2021). Análisis de rendimiento de redes neuronales con tres estructuras diferentes = A neural network performance analysis with three different model structures. Proyecto Fin de Carrera / Trabajo Fin de Grado, E.T.S. de Ingenieros Informáticos (UPM), Madrid, España.

Description

Title: Análisis de rendimiento de redes neuronales con tres estructuras diferentes = A neural network performance analysis with three different model structures
Author/s:
  • Gil Ferrer, Alejandro
Contributor/s:
  • Markidis, Stefano
  • Ferré Grau, Xavier
Item Type: Final Project
Degree: Grado en Matemáticas e Informática
Date: June 2021
Subjects:
Faculty: E.T.S. de Ingenieros Informáticos (UPM)
Department: Lenguajes y Sistemas Informáticos e Ingeniería del Software
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img]
Preview
PDF - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (1MB) | Preview

Abstract

Este trabajo tiene como objetivo analizar el comportamiento de tres tipos de redes neuronales diferentes: densas, convolucionales y recurrentes. Para cada una de las estructuras, se ha escogido una base de datos distinta que se aplica a un problema en específico: un problema de multi clasificación, un clasificador de imágenes y una predición de secuencias en el tiempo, respectivamente. Otro objetivo principal es llegar a entender cuál de las tres estructuras tiene un mejor rendimiento en cada tipo de problema y cómo afectan los diversos parámetros de la red neuronal a su rendimiento. Los parámetros más comunes que han sido analizados son: el número de capas intermedias, el número de neuronas por capa, el número de epochs, el batch size, la funión de activación. la función de error y el optimizador. Los resultados obtenidos en este trabajo muestran que las redes neuronales densas tienen altas dependencias en los valores de sus operaciones internas. Por consiguiente, el tiempo medio de ejecución para la CPU y la GPU es similar. Sin embargo, los algoritmos de optimización para la GPU consiguen una mejora considerable en las redes neuronales convolucionales y recurrentes en comparación con las ejecuciones secuenciales en la CPU. Además, los resultados de cada modelo demuestran que los parámetros asociados a cada red afectan considerablemente a los resultados obtenidos durante el entrenamiento. De esta forma, se ha conseguido una combinación de valores óptima para cada ejemplo de cada estructura.---ABSTRACT---This report analyzes three neural network structures: dense, convolutional and recurrent. One data set example and problem has been chosen for each type of structure: a multi-class classification problem, an image classifier and a time sequence prediction, respectively. This report also aims at understanding which structure performs better for different problem statements, and how the different parameters they depend on affect their performance. The most common parameters that have been analyzed are the following: the number of intermediate layers, the number of neurons, the number of epochs, the batch size, the activation function, the loss function and the optimizer. The results showed that a dense structure has high dependencies between the values of its internal operations. Hence, the average execution time for CPU and GPU are similar. However, accelerated algorithms for GPUs made a substantial difference for convolutional and recurrent structures in comparison to CPU launches. Furthermore, the results of each model showed that most of their attributes vary the performance of the model during training, obtaining a combination of values that are suitable for each structure.

More information

Item ID: 68366
DC Identifier: https://oa.upm.es/68366/
OAI Identifier: oai:oa.upm.es:68366
Deposited by: Biblioteca Facultad de Informatica
Deposited on: 03 Sep 2021 07:31
Last Modified: 03 Sep 2021 07:31
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM