End-to-End IoT System Integration for Real Time Apps using MQTT and KAFKA for collecting and streaming data from Fog to Cloud

Chonata Villamarín, José Fernando (2019). End-to-End IoT System Integration for Real Time Apps using MQTT and KAFKA for collecting and streaming data from Fog to Cloud. Thesis (Master thesis), E.T.S.I. y Sistemas de Telecomunicación (UPM).

Description

Title: End-to-End IoT System Integration for Real Time Apps using MQTT and KAFKA for collecting and streaming data from Fog to Cloud
Author/s:
  • Chonata Villamarín, José Fernando
Contributor/s:
  • Muñoz Fernández, Isabel
Item Type: Thesis (Master thesis)
Masters title: Internet of Things (MIoT)
Date: July 2019
Subjects:
Freetext Keywords: Transmisión de datos; KAFKA; MQTT; Interoperabilidad
Faculty: E.T.S.I. y Sistemas de Telecomunicación (UPM)
Department: Sistemas Informáticos
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img]
Preview
PDF - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (1MB) | Preview

Abstract

El término Internet de las cosas (IoT) suele referirse a ámbitos en los que la conectividad de la red y la capacidad de cálculo se extienden a objetos, sensores y demás elementos cotidianos que no suelen considerarse ordenadores, lo que permite que estos dispositivos generen, intercambien y consuman datos con la menor intervención humana posible. Una primera aproximación de IoT surgió en el área industrial con las aplicaciones M2M (máquina a máquina) que no era más que dotar de conectividad las maquinas entre sí, pero el IoT va un paso más allá, añade funcionalidades, añade inteligencia colectiva, los datos se recogen y se comparten a través de internet sin importar la localización. Por otro lado, la reducción de los costes de fabricación de los procesadores está permitiendo que se dote conectividad a prácticamente todo; por lo tanto, actualmente el campo de aplicación del IoT no se queda en el sector industrial, abarca otros sectores como salud, hogar, administración y ciudades, agricultura, ocio, etc. El documento RFC7452 del IAB sugiere un modelo sencillo en el que básicamente hay tres componentes: Dispositivos, Gateway y Aplicaciones. Estos componentes están interconectados por protocolos de red, pero los requerimientos de transporte de datos entre los dispositivos y el Gateway no son los mismos entre el Gateway y Aplicaciones. En el primero, se necesitan funcionalidades de adquisición de datos y en el segundo, funcionalidades de streaming de datos. Este es el propósito del presente documento, dar una propuesta viable para cumplir con estos requisitos. Esta es la parte central del análisis, para eso se hará una comparación entre las tecnologías actuales y proponiendo una solución adecuada en términos de eficiencia; se caracterizarán los entornos IoT en función de las necesidades de transporte de datos y se propondrá una conjunción de las tecnologías en función de esta caracterización, evaluando si son válidas para cualquier entorno IoT. Posteriormente se diseñará el sistema desde un punto de vista integral desde la arquitectura, hasta el modelo de intercambio de datos. Como componentes del sistema se ha elegido MQTT y KAFKA por sus características. Por último, un caso de uso será implemenado para evaluar las capacidades que ofrece el sistema en términos de inmediatez. Abstract: The Internet of Things (IoT) concept usually refers to contexts in which network connectivity and computing capacity extends to daily objects, sensors and elements not typically considered computers, enabling these devices to generate, exchange and consume data with the least human intervention. A first approach of IoT emerged in the industrial area with M2M applications (Machine to machine) that was nothing more than providing connectivity between machines, but the IoT goes a step further, adds functionality, adds collective intelligence, data is collected and shared over the Internet regardless of location. On the other hand, the reduction of manufacturing costs of processors is making it possible to provide connectivity to practically everything; therefore, currently the scope of application does not remain in the industrial sector, it covers other sectors such as health, home, administration and cities, agriculture, entertainment, etc. The IAB’s RFC7452 document suggests a very clear model where there are basically three components, Devices, Gateway, Application service. These components are interconnected by network protocols, but the data transport between Device and Gateway does not have the same requirements of connection between Gateway and Application services. In the first, data acquisition capabilities are needed and in the second data stream capabilities are needed. This is the purpose of this document, to present a viable proposal to meet these requirements. For this reason, the analysis focuses on making a comparison between current technologies and finding a suitable solution in terms of efficiency; for this, IoT environments will be characterized according to data transport needs and technologies will be proposed according to this characterization, assessing whether they will be valid for any IoT environment. Then the system will be designed from an integral perspective from the architecture to the data exchange model. MQTT and KAFKA have been chosen as system components due to their characteristics. Finally, a use case will be implemented to evaluate the capabilities offered by the system in terms of timeliness.

More information

Item ID: 65632
DC Identifier: http://oa.upm.es/65632/
OAI Identifier: oai:oa.upm.es:65632
Deposited by: Biblioteca Universitaria Campus Sur
Deposited on: 06 Dec 2020 08:04
Last Modified: 06 Dec 2020 08:04
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM