Sistema de procesamiento en tiempo real de datos procedentes de la gestión de residuos

Molero Alba, Carlos (2021). Sistema de procesamiento en tiempo real de datos procedentes de la gestión de residuos. Proyecto Fin de Carrera / Trabajo Fin de Grado, E.T.S.I. de Sistemas Informáticos (UPM), Madrid.

Description

Title: Sistema de procesamiento en tiempo real de datos procedentes de la gestión de residuos
Author/s:
  • Molero Alba, Carlos
Contributor/s:
  • Gómez Canaval, Sandra
Item Type: Final Project
Degree: Grado en Ingeniería del Software
Date: June 2021
Subjects:
Freetext Keywords: Procesamiento de datos; Simulación; Big Data; IoT
Faculty: E.T.S.I. de Sistemas Informáticos (UPM)
Department: Sistemas Informáticos
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img] PDF - Users in campus UPM only - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (2MB)

Abstract

A día de hoy, es cada vez más fácil ver empresas que dispongan de sistemas de Big Data e IoT, esto viene dado a que con el transcurso del tiempo estas han ido siendo más accesibles económicamente. A tal punto que se aplican en muchas de las acciones cotidianas, incluso algunas administraciones públicas están empezando a implementar este tipo de sistemas, como por ejemplo, en la gestión de residuos, donde se han adquirido e instalado diferentes tipos de contenedores inteligentes. El objetivo de este Proyecto de Fin de Grado es diseñar y desarrollar un prototipo de un sistema de procesamiento y visualización en tiempo real de datos relacionados con la gestión de residuos urbanos con el fin de obtener facilitar el análisis y la toma de decisiones relacionadas con dicha gestión. Para conseguir dicho objetivo se ha realizado un estudio previo de las herramientas disponibles, con el fin de posteriormente seleccionar las que se adecuan más al sistema que se desea desarrollar. Las herramientas que han sido seleccionadas son Apache Kafka para el servicio de mensajería, Apache Spark para la elaboración de una aplicación que se encargue del procesamiento de los datos en tiempo real, Elasticsearch para el almacenaje de los datos obtenidos a la salida de la aplicación y Kibana para visualizar los datos. Para el desarrollo se han utilizado los lenguajes de programación Python en su versión 3 para el simulador IoT, en el cual se generan los datos y se envían a la aplicación. Y por otro lado, se ha utilizado Scala para el desarrollo de la aplicación Spark. Esta memoria dispone de la siguiente estructura: Apartado 1 - Introducción: Introducción: Justificación, motivación y objetivos. Apartado 2 - Marco teórico: Big Data, procesamiento en tiempo real y frameworks. Apartado 3 - Estado del arte: Descripción frameworks seleccionados y sistemas actuales. Apartado 4 - Desarrollo del sistema: Análisis funcional e implantación de cada módulo. Apartado 5 - Impacto social, medio ambiental, responsabilidad ética y profesional Apartado 6 - Conclusiones y posibles evoluciones. Apartado 7 - Bibliografía. Anexo I – Código del simulador IoT y de la aplicación Scala-Spark.

More information

Item ID: 67372
DC Identifier: https://oa.upm.es/67372/
OAI Identifier: oai:oa.upm.es:67372
Deposited by: Biblioteca Universitaria Campus Sur
Deposited on: 15 Jun 2021 13:53
Last Modified: 15 Jun 2021 13:53
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM