Procesamiento y visualización de datos a gran escala aplicado al comercio electrónico

Abstract

El aumento en el volumen de información que tienen que manejar
diariamente las empresas provoca que procesos tradicionales de tratamiento y almacenamiento
no resulten eficientes a la hora de manejar grandes cantidades de datos. Payvision
es un proveedor independiente de soluciones de pago, especializado en el procesamiento de
pagos internacionales con tarjeta para el mercado de comercio electrónico. La aplicación
web de reporting de Payvision tiene como objetivo mostrar información a los usuarios sobre
las transacciones de comercio electrónico que han sido procesadas por la plataforma.
El proceso de tratamiento y consulta de datos resulta muy lento cuando se tienen que
manejar volúmenes grandes de transacciones, lo que provoca que la experiencia de usuario
a través de la aplicación web no sea adecuada.
El objetivo de este estudio es diseñar, implementar y evaluar una solución que pueda
dar soporte a este volumen de datos, ofreciendo al usuario información de sus transacciones
en tiempo real. Maximizando el rendimiento de cada pieza del sistema para conseguir
flujo de procesamiento y almacenamiento de información continuo. Mediante un sistema
de procesamiento en streaming distribuido como Apache Flink podemos tratar de forma
inmediata todas las transacciones que son procesadas por el sistema de pagos de Payvision.
El sistema de almacenamiento debe ser capaz de responder de forma eficiente a la hora
de realizar búsquedas y consultas. Elasticsearch nos permite disponer de un motor de
búsqueda y análisis distribuido de alto rendimiento a través del cual podemos visualizar
los datos en tiempo real.
El resultado de este trabajo es un sistema de procesamiento y reporting de
transacciones de alto rendimiento, distribuido y eficiente, capaz de proveer un servicio
de consulta de transacciones procesadas por el usuario en tiempo real.---ABSTRACT---The growing volume of information that companies have to handle
daily causes traditional processing and storing processes to be inefficient when handling
large amounts of data. Payvision is an independent payment solution provider specialized
in global credit card processing for the e-commerce market. The Payvision reporting
application shows information about user e-commerce transactions that have been
processed by the payment platform. Transforming and visualizing these data can be a
slow process when the volume of transactions is considerably big. This has a negative
impact on the web application’s user experience during navigation.
The main goal of this project is to design, implement and evaluate a solution that
can solve this problem, offering to the user near real-time information about processed
transactions. This solution maximizes performance of each piece of the system, to achieve
a continuous processing and storing transaction flow. Using a stream-processing system
like Apache Flink, we can handle all transactions received from the Payvision payment
platform as they arrive. In order to get efficient data searches and querying, Elasticsearch
—a distributed, search and analytics engine— provide us with a scalable and near realtime
search environment.
The result of this project is a distributed, scalable and efficient stream-processing and
reporting system, capable to provide a near real-time search platform for e-commerce
transactions.