Aplicación del dropout a la cuantificación de la incertidumbre en redes neuronales

Antona Castañares, Alejandro (2020). Aplicación del dropout a la cuantificación de la incertidumbre en redes neuronales. Thesis (Master thesis), E.T.S.I. Industriales (UPM).

Description

Title: Aplicación del dropout a la cuantificación de la incertidumbre en redes neuronales
Author/s:
  • Antona Castañares, Alejandro
Contributor/s:
  • Mira McWilliams, José Manuel
  • Badea Romero, Francisco Mariano
Item Type: Thesis (Master thesis)
Masters title: Ingeniería Industrial
Date: February 2020
Subjects:
Freetext Keywords: Dropout, Overfitting, Dropout rate, Monte Carlo Dropout, Concrete Dropout, Dropout Ensembles
Faculty: E.T.S.I. Industriales (UPM)
Department: Ingeniería de Organización, Administración de Empresas y Estadística
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img]
Preview
PDF - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (16MB) | Preview

Abstract

El alcance de este trabajo es el análisis completo del método del dropout en las redes neuronales. El dropout es una técnica de regularización que se basa en la eliminación de neuronas en las capas de la red neuronal que es aplicada en base a la probabilidad dada por la distribución de Bernoulli. El dropout se ha utilizado desde su concepción como un método de regularización de los modelos. El objetivo principal de esta técnica es esencialmente mitigar la posible aparición del fenómeno conocido como overfitting. Este fenómeno es muy característico de las redes neuronales y se produce en la gran mayoría de entrenamientos. Se puede definir como la excesiva particularización del ajuste de los parámetros del modelo para el conjunto de datos con los que se entrena. Esto provoca que el modelo no sea capaz de generalizar y funcionar correctamente con otros datos de entrada. Esta es la principal aplicación que tiene esta técnica, pero durante los tres últimos años se ha reinventado para poder ser utilizada en otro campo totalmente diferente. Esta nueva función es la cuantificación de la incertidumbre de los propios modelos de las redes neuronales y nace como un enfoque alternativo a las redes neuronales bayesianas, pero mucho más práctico y sencillo de implementar. Ambas aplicaciones están ligadas con el fenómeno del overfitting, mientras que la primera que ha sido descrita busca su mitigación de forma activa, la segunda busca el poder cuantificar la incertidumbre del modelo provocado por el overfitting, entre otras causas. Por lo tanto, con este trabajo buscamos poder obtener un análisis completo de este método en sus dos aplicaciones. En este estudio vamos a buscar que su implementación en modelos de redes neuronales sea satisfactoria y se consiga en líneas generales un resultado acorde con su teoría. Además, se pretende hacer un análisis más en profundidad en cada uno de los ejemplos de aplicación y ver cómo influye en el resultado de la técnica la variación de los parámetros asociados a dichas aplicaciones. Con todos los experimentos realizados y programas desarrollados se ha conseguido un banco de pruebas completo, global y escalable a cualquier tipo de dato que se quiera utilizar. Los experimentos realizados se han desarrollado en el programa Rstudio, programando un código para cada uno de ellos de forma que sea legible y entendible por cualquier persona. Cada experimento tiene una métrica específica del éxito o no de la implementación de nuestro método.

More information

Item ID: 57875
DC Identifier: http://oa.upm.es/57875/
OAI Identifier: oai:oa.upm.es:57875
Deposited by: Biblioteca ETSI Industriales
Deposited on: 05 Apr 2020 08:25
Last Modified: 04 Jun 2020 22:30
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM