Integración de un almacén de datos con Spark RDD

Hermoso de Mingo, Antonio (2019). Integración de un almacén de datos con Spark RDD. Proyecto Fin de Carrera / Trabajo Fin de Grado, E.T.S. de Ingenieros Informáticos (UPM), Madrid, España.

Description

Title: Integración de un almacén de datos con Spark RDD
Author/s:
  • Hermoso de Mingo, Antonio
Contributor/s:
  • Patiño Martínez, Marta
Item Type: Final Project
Degree: Grado en Ingeniería Informática
Date: June 2019
Subjects:
Faculty: E.T.S. de Ingenieros Informáticos (UPM)
Department: Lenguajes y Sistemas Informáticos e Ingeniería del Software
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img]
Preview
PDF - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (1MB) | Preview

Abstract

En este Trabajo de Fin de Grado se realizará la Integración de un almacén de datos con Spark RDD sin el gestor de datos KiVi, posteriormente con el gestor de datos KiVi y finalmente una comparación entre ambos casos. En una primera instancia se escogerá un Dataset adecuado y con un volumen de datos considerado para realizar correctamente el Trabajo de Fin de Grado. Además se realizará el estudio de un caso de uso simple y de un caso complejo para comparar resultados. A continuación se preparará una máquina para realizar las pruebas necesarias y así evitar el gasto excesivo de recursos. Una vez preparada todas las pruebas se procederá a realizar la comparación (con y sin Kivi) en un Servidor de Amazon con los recursos necesarios. Finalmente se compararán resultados y benchmarking tanto con un uso a menor escala como a mayor escala.---ABSTRACT---In the present Final Degree Project, the integration of a data warehouse with Spark RDD without the KiVi data manager, later with the KiVi data manager and finally a comparison between both cases. In the first instance, an appropriate Dataset will be chosen with a volume of data considered to perform the Final Degree Project correctly. In addition, a simple case study and a complex case will be studied and compare results. Then, a machine will be prepared to perform the necessary tests to avoid excessive expenditure of resources. Once all the tests have been prepared, the comparison will be carried out (with and without KiVi) in a Amazon Server with necessary resources. Finally, results and benchmarking will be compared both with a small scale and on a large scale.

More information

Item ID: 55772
DC Identifier: http://oa.upm.es/55772/
OAI Identifier: oai:oa.upm.es:55772
Deposited by: Biblioteca Facultad de Informatica
Deposited on: 10 Jul 2019 10:52
Last Modified: 10 Jul 2019 10:52
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM