Big Data en la Nube

Abstract

Las tecnologías de la información se han convertido en el eje central del mundo actual, mecanismos que influyen en la vida, negocios y comunicación de personas relacionadas con el ámbito de la Información. El crecimiento experimentado en el desarrollo de software, ha provocado la creación de avanzadas estructuras tecnológicas como el Big Data en la nube, que, cooperando con otras herramientas, son capaces de mover y almacenar grandes cantidades de datos. Según va pasando el tiempo, el crecimiento del volumen de datos almacenados en los sistemas origen de las compañías, hace que cada vez sea más complejo el tratamiento de éstos. Los métodos y herramientas usados hasta ahora, no están preparados para afrontar tales volumetrías de datos, pues al carecer de escalabilidad, el coste de adaptarse a estas nuevas exigencias es muy elevado, tanto económicamente, como a niveles de rendimiento. Es ahí donde radica el objetivo de este proyecto, la creación de una plataforma Big Data en la nube, capaz de asumir elevadas cantidades de datos a bajo coste y con alto rendimiento. Esta plataforma resultante está creada con tecnologías de última generación, poco conocidas, lo que incrementa la dificultad del proyecto, pues hace más compleja la búsqueda de información y, sobre todo, difícil encontrar posibles soluciones a errores a los que otros desarrolladores se hayan podido enfrentar. Estas tecnologías implicadas en la creación de dicha plataforma, han sido Google Cloud para la creación de servidores, donde se va a integrar el framework de código abierto Hadoop, que, además, ofrece la distribución Hortonworks que permite el desarrollo de procesos. El desarrollo de dichos procesos se hará en lenguaje Scala, cuyo desarrollo y mantenimiento se va a apoyar en herramientas destinadas a la metodología del ciclo de integración continua. Para hacer que todo este ciclo de vida de los datos tenga valor, dotándoles de funcionalidad, la herramienta Microsoft Power BI nos permite generar informes con dichos datos convertidos en gráficos, que facilita su interpretación al hacerlo de una manera visual. Es importante destacar que una plataforma creada con estas tecnologías está preparada para el crecimiento sin tener que afrontar grandes impactos, pues su escalabilidad así lo permite, además, es fácilmente integrable a sistemas de proyectos del mismo tipo, e incluso, proyectos de otra índole. Abstract: Software has become the backbone of today’s world, a complex human creation that has an important impact in the life, business and communication of all people involved with the Information area. The growth experienced in software development has led to the creation of advanced technological structures such as Big Data in the cloud, which, in cooperation with other tools, are capable of moving and storing large amounts of data. As time goes by the growth of the volume of data stored in the systems originating from the companies makes it increasingly complex to process them. The methods and tools used so far, are not prepared to deal with such data volumetrías, because the lack of scalability, the cost of adapting to these new requirements is very high, both economically, and levels of performance. This is where the goal of this project lies, the creation of a Big Data platform in the cloud, capable of assuming high amounts of data at low cost, and with high performance. This resulting platform is created with state-of-the-art, little-known technologies, which increases the difficulty of the project, as it makes the search for information more complex, and above all, it is difficult to find possible solutions to errors that other developers have been able to face. . These technologies involved in the creation of this platform have been Google Cloud for the creation of servers, where the Hadoop open source framework will be integrated, which also offers the Hortonworks distribution that allows the development of processes. The development of these processes will be done in the Scala language, whose development and maintenance will be supported by tools aimed at the continuous integration cycle methodology. To make this whole life cycle of the data have value, providing them with functionality, the Microsoft Power BI tool allows us to generate reports with these data converted into graphics, which facilitates their interpretation by doing so in a visual way. It is important to highlight that a platform created with these technologies is prepared for growth without having to face major impacts, because its scalability allows it, in addition, it is easily integrable to project systems of the same type, and even, other projects.