Diseño e implementación de un sistema de control de flujos de datos mediante Apache NiFi

Muñoz García, María (2017). Diseño e implementación de un sistema de control de flujos de datos mediante Apache NiFi. Proyecto Fin de Carrera / Trabajo Fin de Grado, E.T.S.I. y Sistemas de Telecomunicación (UPM), Madrid.

Description

Title: Diseño e implementación de un sistema de control de flujos de datos mediante Apache NiFi
Author/s:
  • Muñoz García, María
Contributor/s:
  • Silva Fariña, Antonio da
Item Type: Final Project
Degree: Grado en Ingeniería Telemática
Date: 10 July 2017
Subjects:
Faculty: E.T.S.I. y Sistemas de Telecomunicación (UPM)
Department: Ingeniería Telemática y Electrónica
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img]
Preview
PDF - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (5MB) | Preview
[img] Archive (ZIP) - Users in campus UPM only
Download (11kB)

Abstract

Este Trabajo de Fin de Grado surge de la necesidad de gestionar de forma remota errores relacionados con el funcionamiento diario de servidores de datos en la nube, por ejemplo caídas en el servicio proporcionado por bases de datos. En los sistemas actuales estas incidencias deben ser resueltas en el menor lapso de tiempo y para ello es preciso disponer de personal dedicado (24/365) a tiempo completo. Con la intención de automatizar la gestión de este problema, en la empresa CaseOnIt, se ha realizado este proyecto que pretende el desarrollo de una herramienta para procesar dichos errores de manera automática, tratándolos como flujos de datos. Con el fin de dedicar los recursos humanos a tareas más específicas y de mayor relevancia para la empresa. Evitando las pérdidas de datos que se pueden ocasionar cuando la respuesta a las incidencias es lenta. El proyecto consta de dos partes, una teórica y otra práctica. En la parte teórica se investiga acerca de tecnologías actuales en las que trabaja la empresa, así como tecnologías pioneras de flujos de datos; para decidir la arquitectura óptima, desde el punto de vista de ingeniería, a fin de realizar la parte práctica. La segunda parte implementa el entorno en el que se ha configurado Apache NiFi como herramienta principal para tratar los flujos y automatizar tareas. Además se explica de manera detallada el desarrollo y despliegue de esta herramienta, y de los distintos procesadores que la componen, así como herramientas auxiliares. ABSTRACT. The aim of this study is to manage errors remotely related to the daily operations of data servers in the cloud, for example falls in the service provided by databases. In current systems, these incidents must be resolved in the shortest possible time and for this purpose, staff (24/365) must be available on a full-time basis. With the purpose of automating the management of this problem, in the company CaseOnIt, this project has been carried out to develop a tool to process the errors automatically, treating them as data flows. Human resources with more specific and important tasks would contribute the growth of the company. This can also avoid data losses that sometimes occur when the response time to incidents is slow. The project consists of two parts, one theoretical and the other one practical. The theoretical part investigates current technologies in which the company works, as well as pioneering technologies of data flows. Thanks to this, it is easier to understand the practical part of the development of the project. The second part details the environment in which Apache NiFi has been implemented as the main tool for handling flows and automating tasks. In addition, this work explains in detail the deployment of this tool, the various processors that compose it and auxiliary tools.

More information

Item ID: 51786
DC Identifier: http://oa.upm.es/51786/
OAI Identifier: oai:oa.upm.es:51786
Deposited by: Biblioteca Universitaria Campus Sur
Deposited on: 29 Jul 2018 15:40
Last Modified: 29 Jul 2018 15:40
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM