Procesamiento y visualización de datos a gran escala aplicado al comercio electrónico

Vicente de las Heras, Sergio (2018). Procesamiento y visualización de datos a gran escala aplicado al comercio electrónico. Thesis (Master thesis), E.T.S. de Ingenieros Informáticos (UPM).

Description

Title: Procesamiento y visualización de datos a gran escala aplicado al comercio electrónico
Author/s:
  • Vicente de las Heras, Sergio
Contributor/s:
  • Montes Sánchez, Jesús
Item Type: Thesis (Master thesis)
Masters title: Ingeniería Informática
Date: June 2018
Subjects:
Freetext Keywords: Tiempo real; Big Data; procesamiento en streaming; Apache Flink; Rendimiento; Elasticsearch; e-commerce; Real time; Stream-processing; Performance.
Faculty: E.T.S. de Ingenieros Informáticos (UPM)
Department: Arquitectura y Tecnología de Sistemas Informáticos
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img]
Preview
PDF - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (852kB) | Preview

Abstract

El aumento en el volumen de información que tienen que manejar diariamente las empresas provoca que procesos tradicionales de tratamiento y almacenamiento no resulten eficientes a la hora de manejar grandes cantidades de datos. Payvision es un proveedor independiente de soluciones de pago, especializado en el procesamiento de pagos internacionales con tarjeta para el mercado de comercio electrónico. La aplicación web de reporting de Payvision tiene como objetivo mostrar información a los usuarios sobre las transacciones de comercio electrónico que han sido procesadas por la plataforma. El proceso de tratamiento y consulta de datos resulta muy lento cuando se tienen que manejar volúmenes grandes de transacciones, lo que provoca que la experiencia de usuario a través de la aplicación web no sea adecuada. El objetivo de este estudio es diseñar, implementar y evaluar una solución que pueda dar soporte a este volumen de datos, ofreciendo al usuario información de sus transacciones en tiempo real. Maximizando el rendimiento de cada pieza del sistema para conseguir flujo de procesamiento y almacenamiento de información continuo. Mediante un sistema de procesamiento en streaming distribuido como Apache Flink podemos tratar de forma inmediata todas las transacciones que son procesadas por el sistema de pagos de Payvision. El sistema de almacenamiento debe ser capaz de responder de forma eficiente a la hora de realizar búsquedas y consultas. Elasticsearch nos permite disponer de un motor de búsqueda y análisis distribuido de alto rendimiento a través del cual podemos visualizar los datos en tiempo real. El resultado de este trabajo es un sistema de procesamiento y reporting de transacciones de alto rendimiento, distribuido y eficiente, capaz de proveer un servicio de consulta de transacciones procesadas por el usuario en tiempo real.---ABSTRACT---The growing volume of information that companies have to handle daily causes traditional processing and storing processes to be inefficient when handling large amounts of data. Payvision is an independent payment solution provider specialized in global credit card processing for the e-commerce market. The Payvision reporting application shows information about user e-commerce transactions that have been processed by the payment platform. Transforming and visualizing these data can be a slow process when the volume of transactions is considerably big. This has a negative impact on the web application’s user experience during navigation. The main goal of this project is to design, implement and evaluate a solution that can solve this problem, offering to the user near real-time information about processed transactions. This solution maximizes performance of each piece of the system, to achieve a continuous processing and storing transaction flow. Using a stream-processing system like Apache Flink, we can handle all transactions received from the Payvision payment platform as they arrive. In order to get efficient data searches and querying, Elasticsearch —a distributed, search and analytics engine— provide us with a scalable and near realtime search environment. The result of this project is a distributed, scalable and efficient stream-processing and reporting system, capable to provide a near real-time search platform for e-commerce transactions.

More information

Item ID: 51574
DC Identifier: http://oa.upm.es/51574/
OAI Identifier: oai:oa.upm.es:51574
Deposited by: Biblioteca Facultad de Informatica
Deposited on: 10 Jul 2018 10:33
Last Modified: 10 Jul 2018 10:33
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM