Aplicación del dropout a la cuantificación de la incertidumbre en redes neuronales

Abstract

El alcance de este trabajo es el análisis completo del método del dropout en las redes neuronales. El dropout es una técnica de regularización que se basa en la eliminación de neuronas en las capas de la red neuronal que es aplicada en base a la probabilidad dada por la distribución de Bernoulli. El dropout se ha utilizado desde su concepción como un método de regularización de los modelos. El objetivo principal de esta técnica es esencialmente mitigar la posible aparición del fenómeno conocido como overfitting. Este fenómeno es muy característico de las redes neuronales y se produce en la gran mayoría de entrenamientos. Se puede definir como la excesiva particularización del ajuste de los parámetros del modelo para el conjunto de datos con los que se entrena. Esto provoca que el modelo no sea capaz de generalizar y funcionar correctamente con otros datos de entrada. Esta es la principal aplicación que tiene esta técnica, pero durante los tres últimos años se ha reinventado para poder ser utilizada en otro campo totalmente diferente. Esta nueva función es la cuantificación de la incertidumbre de los propios modelos de las redes neuronales y nace como un enfoque alternativo a las redes neuronales bayesianas, pero mucho más práctico y sencillo de implementar. Ambas aplicaciones están ligadas con el fenómeno del overfitting, mientras que la primera que ha sido descrita busca su mitigación de forma activa, la segunda busca el poder cuantificar la incertidumbre del modelo provocado por el overfitting, entre otras causas. Por lo tanto, con este trabajo buscamos poder obtener un análisis completo de este método en sus dos aplicaciones. En este estudio vamos a buscar que su implementación en modelos de redes neuronales sea satisfactoria y se consiga en líneas generales un resultado acorde con su teoría. Además, se pretende hacer un análisis más en profundidad en cada uno de los ejemplos de aplicación y ver cómo influye en el resultado de la técnica la variación de los parámetros asociados a dichas aplicaciones. Con todos los experimentos realizados y programas desarrollados se ha conseguido un banco de pruebas completo, global y escalable a cualquier tipo de dato que se quiera utilizar. Los experimentos realizados se han desarrollado en el programa Rstudio, programando un código para cada uno de ellos de forma que sea legible y entendible por cualquier persona. Cada experimento tiene una métrica específica del éxito o no de la implementación de nuestro método.