Desarrollo de una herramienta de análisis, procesado y visualización de fuentes de datos empleando técnicas de Big Data utilizando Apache Spark

Abstract

El presente trabajo fin de grado abarca el estudio del conjunto de técnicas Big Data, que nos permiten el análisis, procesado y visualización de grandes cantidades datos. El objetivo es así una familiarización con el concepto de Big Data y todas las herramientas que lo engloban, para después proceder al montaje de una arquitectura en completo y finalizar con un ejemplo de uso con la herramienta Apache Spark como motor del procesamiento. Actualmente nos encontramos en la era de la información, la generación de datos es masiva, día a día se generan datos desde todo tipo de terminales. Es así como la sociedad actual, precisa de sistemas aptos a manejar tales cantidades de información. Por Big Data entendemos todo gran volumen de datos estructurados, semi-estructurados y no estructurados que tienen el potencial de obtener información útil de ellos. Es objetivo de este documento, exponer la situación actual de la explotación masiva de datos, desde sus orígenes hasta el día de hoy, así como un estudio en profundidad de las herramientas más empleadas actualmente. Se ha definido y desplegado una arquitectura Big Data completamente funcional, desde la recopilación de datos hasta la visualización de resultados, pasando por su almacenamiento, explotación y análisis. Finalmente, gracias a todo el conocimiento adquirido hasta entonces, se ha desarrollado un caso de uso práctico sobre la arquitectura anteriormente definida. Este caso de uso tendrá como motor de funcionamiento Apache Spark, que será el encargado de realizar la explotación, procesamiento y análisis de los datos.