Herramienta web de acceso a un repositorio con información sobre aplicaciones Big Data

Miquel Garrido, Carlos (2017). Herramienta web de acceso a un repositorio con información sobre aplicaciones Big Data. Proyecto Fin de Carrera / Trabajo Fin de Grado, E.T.S. de Ingenieros Informáticos (UPM), Madrid, España.

Description

Title: Herramienta web de acceso a un repositorio con información sobre aplicaciones Big Data
Author/s:
  • Miquel Garrido, Carlos
Contributor/s:
  • Pérez Hernández, María de los Santos
  • Brandón Hernández, Álvaro
Item Type: Final Project
Degree: Grado en Ingeniería Informática
Date: June 2017
Subjects:
Faculty: E.T.S. de Ingenieros Informáticos (UPM)
Department: Arquitectura y Tecnología de Sistemas Informáticos
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img]
Preview
PDF - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (1MB) | Preview

Abstract

En el presente trabajo se abordará la creación de una herramienta web para la visualización de datos recogidos de la instrumentación de diferentes aplicaciones Big Data en un entorno Spark. Todos los estos datos serán recogidos en una base de datos MongoDB de la cual se extraerán para su visualización en la herramienta. Cada aplicación Big Data estará dividida en diferentes jobs, cada uno de los cuales estará dividido en stages que a su vez estarán formados por tasks. Spark tiene su propia herramienta de visualización de los datos de las ejecuciones, pero no es todo lo ágil y visual que se requiere, además de obligarnos a navegar entre diferentes páginas para llegar a los puntos más profundos de cada aplicación (stages y tasks). Por ello, se intentará crear una herramienta ágil y en la cual se visualicen con claridad los datos más importantes. La manera en la que se visualizará esta estructura en la herramienta es con la forma de un árbol, cuyas raíces serán las aplicaciones. Además, se creará una herramienta de filtrado para buscar entre las aplicaciones y las subdivisiones de estas que nos permitirá acceder rápidamente al resultado buscado. Finalmente, se usarán también gráficas y datos de resumen para visualizar los datos más importantes de cada aplicación.---ABSTRACT---In this project, we will address the task of creating a web application for the visualization of the data collected from the instrumentation of different Big Data applications on a Spark environment. All these data will be stored on MongoDB, and we will get them from this database for its visualization on the app. Each Big Data application will be divided into jobs, which will also be divided into several stages and finally each stage will be formed by various tasks. Spark offers its own visualization tool for the data collected from the executions, but this tool is not as agile and intuitive as needed, apart from forcing us to navigate between different pages to reach the deepest parts of the applications (stages and tasks). For this reason, we will create an agile app where the most important characteristics of each part of the applications are clearly seen. The chosen way of visualization for the applications is a tree where the applications will be the roots. Our web application will also include a filter tool to search between all the applications and their subdivision, so we can reach quickly the desired result. Finally, we will add some graphs and summary data to display the application behavior and the most important details from each application.

More information

Item ID: 47735
DC Identifier: http://oa.upm.es/47735/
OAI Identifier: oai:oa.upm.es:47735
Deposited by: Biblioteca Facultad de Informatica
Deposited on: 13 Sep 2017 14:15
Last Modified: 13 Sep 2017 14:15
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM