Paralelización de operadores de data streaming

Abstract

La paralelización de operadores en un procesador de datos en tiempo real es un factor clave para asegurar que el resultado se obtendrá con el mejor rendimiento posible. Según la naturaleza del operador que se maneje, esta paralelización puede realizarse de forma trivial en el caso de que no posea un estado, lo cual implica que los datos recibidos son procesados y el resultado es devuelto sin necesidad de almacenarlos. Sin embargo, no todos los operadores a utilizar dentro de un procesador de esta magnitud pueden ejecutar correctamente sin estado, por lo que a la hora de paralelizar los datos es relevante tomar este elemento en consideración a través de lo que se denomina ventana deslizante, la cual permite manejar el almacenamiento de los datos recibidos durante el tiempo necesario para que puedan ser de uso en las futuras operaciones a realizar sin exceder el tiempo de almacenamiento necesario y sin consumir memoria ineficientemente. Por otro lado, también es relevante monitorizar el procesamiento de los datos para determinar cómo de bueno es el rendimiento del mismo, por lo que el uso de una herramienta que sea escalable y eficaz es lo adecuado para la realización de esta tarea. Además de esto, también es relevante mencionar que en un entorno distribuido, cualquier fallo puede ocurrir, por lo que es necesario almacenar la información sobre la configuración del sistema en un sitio que sea tanto disponible como tolerante a fallos. De este modo cuando ocurra algún fallo se podrá acceder a esta información para lograr restaurar el sistema.---ABSTRACT---Operator parallelization in a data streaming processor is a crucial task to make sure that the result will be achieved with the best performance possible. Given the nature of the operator, this task can be done in trivial manner if a state is not to be considered, meaning that the data received on the entrance of the operator is processed and the result is given without the needing to previously stored it. Nevertheless, not all operators used inside a data streaming processor can be executed without the need of a state, making the use of sliding windows a necessity in order to correctly manage to the data received during the necessary time to be used in future operations without exceeding the duration of the storaged and consuming memory in an inefficient manner. On the other hand, it is also relevant to monitorize the process in order to determine how good the performance of the processor is, which is why a the use of an scalable and efficient tool is required to perform this task. It is also important to take into consideration that in a distributed system, problems can emerge and machines can failed, making it mandatory to store system’s configuration information in a place that can be available and fault tolerant. In this way, if any problem arises, it will be possible to access this information to restore the system configuration.