Procesamiento y visualización de datos a gran escala aplicado al comercio electrónico

Vicente de las Heras, Sergio (2018). Procesamiento y visualización de datos a gran escala aplicado al comercio electrónico. Tesis (Master), E.T.S. de Ingenieros Informáticos (UPM).

Descripción

Título: Procesamiento y visualización de datos a gran escala aplicado al comercio electrónico
Autor/es:
  • Vicente de las Heras, Sergio
Director/es:
  • Montes Sánchez, Jesús
Tipo de Documento: Tesis (Master)
Título del máster: Ingeniería Informática
Fecha: Junio 2018
Materias:
Palabras Clave Informales: Tiempo real; Big Data; procesamiento en streaming; Apache Flink; Rendimiento; Elasticsearch; e-commerce; Real time; Stream-processing; Performance.
Escuela: E.T.S. de Ingenieros Informáticos (UPM)
Departamento: Arquitectura y Tecnología de Sistemas Informáticos
Licencias Creative Commons: Reconocimiento - Sin obra derivada - No comercial

Texto completo

[img]
Vista Previa
PDF (Document Portable Format) - Se necesita un visor de ficheros PDF, como GSview, Xpdf o Adobe Acrobat Reader
Descargar (852kB) | Vista Previa

Resumen

El aumento en el volumen de información que tienen que manejar diariamente las empresas provoca que procesos tradicionales de tratamiento y almacenamiento no resulten eficientes a la hora de manejar grandes cantidades de datos. Payvision es un proveedor independiente de soluciones de pago, especializado en el procesamiento de pagos internacionales con tarjeta para el mercado de comercio electrónico. La aplicación web de reporting de Payvision tiene como objetivo mostrar información a los usuarios sobre las transacciones de comercio electrónico que han sido procesadas por la plataforma. El proceso de tratamiento y consulta de datos resulta muy lento cuando se tienen que manejar volúmenes grandes de transacciones, lo que provoca que la experiencia de usuario a través de la aplicación web no sea adecuada. El objetivo de este estudio es diseñar, implementar y evaluar una solución que pueda dar soporte a este volumen de datos, ofreciendo al usuario información de sus transacciones en tiempo real. Maximizando el rendimiento de cada pieza del sistema para conseguir flujo de procesamiento y almacenamiento de información continuo. Mediante un sistema de procesamiento en streaming distribuido como Apache Flink podemos tratar de forma inmediata todas las transacciones que son procesadas por el sistema de pagos de Payvision. El sistema de almacenamiento debe ser capaz de responder de forma eficiente a la hora de realizar búsquedas y consultas. Elasticsearch nos permite disponer de un motor de búsqueda y análisis distribuido de alto rendimiento a través del cual podemos visualizar los datos en tiempo real. El resultado de este trabajo es un sistema de procesamiento y reporting de transacciones de alto rendimiento, distribuido y eficiente, capaz de proveer un servicio de consulta de transacciones procesadas por el usuario en tiempo real.---ABSTRACT---The growing volume of information that companies have to handle daily causes traditional processing and storing processes to be inefficient when handling large amounts of data. Payvision is an independent payment solution provider specialized in global credit card processing for the e-commerce market. The Payvision reporting application shows information about user e-commerce transactions that have been processed by the payment platform. Transforming and visualizing these data can be a slow process when the volume of transactions is considerably big. This has a negative impact on the web application’s user experience during navigation. The main goal of this project is to design, implement and evaluate a solution that can solve this problem, offering to the user near real-time information about processed transactions. This solution maximizes performance of each piece of the system, to achieve a continuous processing and storing transaction flow. Using a stream-processing system like Apache Flink, we can handle all transactions received from the Payvision payment platform as they arrive. In order to get efficient data searches and querying, Elasticsearch —a distributed, search and analytics engine— provide us with a scalable and near realtime search environment. The result of this project is a distributed, scalable and efficient stream-processing and reporting system, capable to provide a near real-time search platform for e-commerce transactions.

Más información

ID de Registro: 51574
Identificador DC: http://oa.upm.es/51574/
Identificador OAI: oai:oa.upm.es:51574
Depositado por: Biblioteca Facultad de Informatica
Depositado el: 10 Jul 2018 10:33
Ultima Modificación: 10 Jul 2018 10:33
  • GEO_UP4
  • Open Access
  • Open Access
  • Sherpa-Romeo
    Compruebe si la revista anglosajona en la que ha publicado un artículo permite también su publicación en abierto.
  • Dulcinea
    Compruebe si la revista española en la que ha publicado un artículo permite también su publicación en abierto.
  • Recolecta
  • InvestigaM
  • Observatorio I+D+i UPM
  • OpenCourseWare UPM