Development of an autoscaling Big Data system with Docker and Kubernetes

Abstract

El objetivo principal de este Proyecto consistía en el desarrollo de una arquitectura Big Data autoescalable utilizando para ésto Docker y Kubernetes. Para obtener dicho resultado, el Proyecto se ha dividido en 3 etapas principales: En la primera etapa había que primero, definir qué herramientas y aplicaciones utilizaríamos para componer la arquitectura y, segundo, conseguir empaquetar dichas aplicaciones en contenedores software con Docker. La segunda etapa del Proyecto, consistió en la elaboración de los tests de integración del Sistema necesarios para poder asegurar el correcto funcionamiento de los componentes del mismo antes de proceder con la tercera etapa. Finalmente, se implementó el Sistema utilizando Kubernetes para conseguir que éste fuera capàz de reconocer, automáticamente, las cargas de proceso a las que está sometido en cada momento y poder así ajustar sus características en función de las necesidades de cada momento.---ABSTRACT---The main objective of this project consisted on the development of an autoscaling Big Data architecture with Docker and Kubernetes. To obtain this, the project was divided into 3 different stages: During the first stage, It was necessary to first, study the different options to conclude which were the best possible tools and applications to use in the architecture, and second, to package the chosen applications as software containers using Docker. At the second stage, we created the system integration tests necessary to ensure the correct functioning of the system and each of its parts before we could proceed with the third stage. Finally, the system was implemented using Kubernetes with the purpose of enabling the system to recognize by itself the amount of resources each of its parts is consuming and to auto scale consequently to adjust to every moment needs.