Integración de un almacén de datos con Spark RDD

Abstract

En este Trabajo de Fin de Grado se realizará la Integración de un almacén de datos con Spark RDD sin el gestor de datos KiVi, posteriormente con el gestor de datos KiVi y finalmente una comparación entre ambos casos. En una primera instancia se escogerá un Dataset adecuado y con un volumen de datos considerado para realizar correctamente el Trabajo de Fin de Grado. Además se realizará el estudio de un caso de uso simple y de un caso complejo para comparar resultados. A continuación se preparará una máquina para realizar las pruebas necesarias y así evitar el gasto excesivo de recursos. Una vez preparada todas las pruebas se procederá a realizar la comparación (con y sin Kivi) en un Servidor de Amazon con los recursos necesarios. Finalmente se compararán resultados y benchmarking tanto con un uso a menor escala como a mayor escala.---ABSTRACT---In the present Final Degree Project, the integration of a data warehouse with Spark RDD without the KiVi data manager, later with the KiVi data manager and finally a comparison between both cases. In the first instance, an appropriate Dataset will be chosen with a volume of data considered to perform the Final Degree Project correctly. In addition, a simple case study and a complex case will be studied and compare results. Then, a machine will be prepared to perform the necessary tests to avoid excessive expenditure of resources. Once all the tests have been prepared, the comparison will be carried out (with and without KiVi) in a Amazon Server with necessary resources. Finally, results and benchmarking will be compared both with a small scale and on a large scale.