Improving elasticity in publish/subscribe systems for large-scale IoT based services

Rampérez Martín, Víctor (2017). Improving elasticity in publish/subscribe systems for large-scale IoT based services. Tesis (Master), E.T.S. de Ingenieros Informáticos (UPM).

Descripción

Título: Improving elasticity in publish/subscribe systems for large-scale IoT based services
Autor/es:
  • Rampérez Martín, Víctor
Director/es:
  • Soriano Camino, Francisco Javier
Tipo de Documento: Tesis (Master)
Título del máster: Ingeniería Informática
Fecha: Junio 2017
Materias:
Escuela: E.T.S. de Ingenieros Informáticos (UPM)
Departamento: Lenguajes y Sistemas Informáticos e Ingeniería del Software
Licencias Creative Commons: Reconocimiento - Sin obra derivada - No comercial

Texto completo

[img]
Vista Previa
PDF (Document Portable Format) - Se necesita un visor de ficheros PDF, como GSview, Xpdf o Adobe Acrobat Reader
Descargar (1MB) | Vista Previa

Resumen

Muchos son los retos que plantea el crecimiento de la población urbana y la rápida urbanización. En este contexto, el concepto de hacer las ciudades \inteligentes" está surgiendo como estrategia para mitigar los problemas generados por este rápido crecimiento de la población urbana, asegurando unas condiciones de sostenibilidad, habitabilidad y comodidad. Sustentando el concepto de ciudades inteligentes se encuentra la tecnología del Internet de las Cosas (Internet of Things, IoT de ahora en adelante por sus siglas en inglés). Sin embargo, esta tecnología padece algunas carencias, como la necesidad de sistemas de comunicación capaces de explotar la información de contexto, de alto rendimiento y con capacidad de aprovechar la capacidad de elasticidad y ofrecida por la computación en la nube (cloud computing). E-SilboPS es un middleware de comunicación de tipo publicador/suscriptor basado en el contenido y consciente del contexto, que ha demostrado las altas prestaciones que ofrecía como consecuencia de sus innovador algoritmo de escalado que le permitía aprovechar los recursos \ilimitados" que ofrece la computación en la nube. No obstante, al comienzo de este trabajo de fin de máster, el sistema se encontraba en una fase de desarrollo que no permitía su despliegue en entornos plenamente distribuidos, no había sido integrado en ninguna plataforma de IoT y carecía de un sistema que gestionara de forma autónoma el autoescalado del mismo. Estos requisitos se antojaban imprescindibles para la consolidación de dicho sistema en entornos IoT reales, siendo estos los objetivos del presente trabajo de fin de máster. En primer lugar se ha dise~nado he implementado una solución basada en contenerización que permita el despliegue del sistema en un entorno completamente distribuido. Esta nueva versión ha sido evaluada mediante pruebas de rendimiento que constatan el aumento de las prestaciones del sistema comparado con la versión previa no distribuida. Además, se ha utilizado la versión plenamente distribuida de E-SilboPS como sistema de comunicación consciente del contexto para dise~nar e implementar un distribuidor de contexto para IoT basado en las APIs de FIWARE-NGSI v2. La utilización de E-SilboPS como sistema de comunicación ha permitido al distribuidor de contexto presentado en este trabajo explotar la información de contexto y mejorar considerablemente en términos de rendimiento comparado con la implementación de referencia utilizada en la plataforma de IoT de FIWARE. Finalmente, este trabajo fin de máster ha abordado el problema de cuando un sistema cloud dise~nado para escalar, como es E-SilboPS, debe escalar para poder adaptarse a los cambios en las cargas de trabajo de manera eficiente. Más concretamente, se presenta una aproximación que permita a los sistemas escalar en base a unas métricas de alto nivel definidas por los usuarios, como son los acuerdos de nivel de servicio o SLA por sus siglas en inglés. Para posibilitar esto, se ha realizado un estudio que permita traducir las métricas de alto nivel en métricas de bajo nivel (e.g. uso de CPU) que son manejadas por los sistema de autoescalado más comunes y ofrecidos por los principales proveedores de entornos cloud. De esta forma, el sistema presentado no solo abstrae a los usuarios finales la complejidad de los sistemas actuales de autoescalado en entornos cloud, sino que al sustentarse en unas métricas de alto nivel y su correspondencia en métricas de bajo nivel permite adoptar esta solución en entornos cloud heterogéneos, evitando el compromiso con un proveedor cloud concreto.---ABSTRACT---There are many challenges posed by urban population growth and rapid urbanization. In this context, the concept of making cities \smart" is emerging as a strategy to mitigate the problems generated by this rapid growth of the urban population, ensuring sustainable and livable conditions. This Smart Cities concept relies on the Internet of Things (IoT) technology. However, there are some challenges to overcome in the IoT technologies such as the lack of truly elastic communication systems capable of exploiting context information and cloud computing resources to offer a good performance solution capable of eficiently cope with the workload uctuations. E-SilboPS is a content-based context-aware publish/subscribe middleware that has demonstrated the high performance it offers as a result of its innovative scaling algorithm that allowed it to take advantage of the \unlimited" resources offered by cloud computing. Nevertheless, at the beginning of this Master's Thesis, the system was in a development phase in which it could not be deployed in a fully distributed environment, it had not been integrated into any real IoT platform and it could not autonomously decide when the system had to scale in or out. These requirements are essential in order to consolidate E-SilboPS in the IoT environments, and therefore these requirements are the main objectives of this Master's Thesis. First, a solution based on container technology was designed and implemented to deploy E-SilboPS in a fully distributed environment. This enhanced version of E-SilboPS was evaluated through performance tests which validates the performance increase compared to the non-distributed version. Additionally, this fully distributed version of E-SilboPS has been used as the underlaying communication system to develop a new Context Broker for IoT based on the API specification of FIWARE-NGSI v2. Due to fact that the develop Context Broker relies on the enhanced version of E-SilboPS as the communication system, allowing the exploitation of context information and leveraging the cloud environments for scalability, the proposed context broker has improved the performance compared with the FIWARE context broker reference implementation. Finally, this Master's Thesis addresses the problem of when system designed to scale, such as E-SilboPS, should scale in order to cope with the workload uctuations. More specifically, this work presents an innovative approach that allow the systems to scale based on a high level metrics (e.g. the Service Level Agreement or SLA). In order to achieve it, a study was conducted to map the high level metrics into low level metrics common to the main cloud providers (e.g. CPU usage) and that are used by the majority of the auto-scaling solutions in cloud environments. This solution, not only facilitates to end users the configuration of the auto-scaling solution, but also it allows to adopt this solution in heterogeneous clouds and it prevents provider lock-in.

Más información

ID de Registro: 51464
Identificador DC: http://oa.upm.es/51464/
Identificador OAI: oai:oa.upm.es:51464
Depositado por: Biblioteca Facultad de Informatica
Depositado el: 05 Jul 2018 06:49
Ultima Modificación: 05 Jul 2018 06:49
  • GEO_UP4
  • Open Access
  • Open Access
  • Sherpa-Romeo
    Compruebe si la revista anglosajona en la que ha publicado un artículo permite también su publicación en abierto.
  • Dulcinea
    Compruebe si la revista española en la que ha publicado un artículo permite también su publicación en abierto.
  • Recolecta
  • InvestigaM
  • Observatorio I+D+i UPM
  • OpenCourseWare UPM