Herramienta web de acceso a un repositorio con información sobre aplicaciones Big Data

Miquel Garrido, Carlos (2017). Herramienta web de acceso a un repositorio con información sobre aplicaciones Big Data. Proyecto Fin de Carrera / Trabajo Fin de Grado, E.T.S. de Ingenieros Informáticos (UPM), Madrid, España.

Descripción

Título: Herramienta web de acceso a un repositorio con información sobre aplicaciones Big Data
Autor/es:
  • Miquel Garrido, Carlos
Director/es:
  • Pérez Hernández, María de los Santos
  • Brandón Hernández, Álvaro
Tipo de Documento: Proyecto Fin de Carrera/Grado
Grado: Grado en Ingeniería Informática
Fecha: Junio 2017
Materias:
Escuela: E.T.S. de Ingenieros Informáticos (UPM)
Departamento: Arquitectura y Tecnología de Sistemas Informáticos
Licencias Creative Commons: Reconocimiento - Sin obra derivada - No comercial

Texto completo

[img]
Vista Previa
PDF (Document Portable Format) - Se necesita un visor de ficheros PDF, como GSview, Xpdf o Adobe Acrobat Reader
Descargar (1MB) | Vista Previa

Resumen

En el presente trabajo se abordará la creación de una herramienta web para la visualización de datos recogidos de la instrumentación de diferentes aplicaciones Big Data en un entorno Spark. Todos los estos datos serán recogidos en una base de datos MongoDB de la cual se extraerán para su visualización en la herramienta. Cada aplicación Big Data estará dividida en diferentes jobs, cada uno de los cuales estará dividido en stages que a su vez estarán formados por tasks. Spark tiene su propia herramienta de visualización de los datos de las ejecuciones, pero no es todo lo ágil y visual que se requiere, además de obligarnos a navegar entre diferentes páginas para llegar a los puntos más profundos de cada aplicación (stages y tasks). Por ello, se intentará crear una herramienta ágil y en la cual se visualicen con claridad los datos más importantes. La manera en la que se visualizará esta estructura en la herramienta es con la forma de un árbol, cuyas raíces serán las aplicaciones. Además, se creará una herramienta de filtrado para buscar entre las aplicaciones y las subdivisiones de estas que nos permitirá acceder rápidamente al resultado buscado. Finalmente, se usarán también gráficas y datos de resumen para visualizar los datos más importantes de cada aplicación.---ABSTRACT---In this project, we will address the task of creating a web application for the visualization of the data collected from the instrumentation of different Big Data applications on a Spark environment. All these data will be stored on MongoDB, and we will get them from this database for its visualization on the app. Each Big Data application will be divided into jobs, which will also be divided into several stages and finally each stage will be formed by various tasks. Spark offers its own visualization tool for the data collected from the executions, but this tool is not as agile and intuitive as needed, apart from forcing us to navigate between different pages to reach the deepest parts of the applications (stages and tasks). For this reason, we will create an agile app where the most important characteristics of each part of the applications are clearly seen. The chosen way of visualization for the applications is a tree where the applications will be the roots. Our web application will also include a filter tool to search between all the applications and their subdivision, so we can reach quickly the desired result. Finally, we will add some graphs and summary data to display the application behavior and the most important details from each application.

Más información

ID de Registro: 47735
Identificador DC: http://oa.upm.es/47735/
Identificador OAI: oai:oa.upm.es:47735
Depositado por: Biblioteca Facultad de Informatica
Depositado el: 13 Sep 2017 14:15
Ultima Modificación: 13 Sep 2017 14:15
  • Open Access
  • Open Access
  • Sherpa-Romeo
    Compruebe si la revista anglosajona en la que ha publicado un artículo permite también su publicación en abierto.
  • Dulcinea
    Compruebe si la revista española en la que ha publicado un artículo permite también su publicación en abierto.
  • Recolecta
  • e-ciencia
  • Observatorio I+D+i UPM
  • OpenCourseWare UPM