Web Scraping y microservicios

Santos Sánchez, Javier (2022). Web Scraping y microservicios. Proyecto Fin de Carrera / Trabajo Fin de Grado, E.T.S.I. de Sistemas Informáticos (UPM), Madrid.

Description

Title: Web Scraping y microservicios
Author/s:
  • Santos Sánchez, Javier
Contributor/s:
  • Talavera Muñoz, Edgar
Item Type: Final Project
Degree: Grado en Ingeniería del Software
Date: June 2022
Subjects:
Freetext Keywords: Web scraping; Microservicios; Aplicación Software; Bot; Telegram
Faculty: E.T.S.I. de Sistemas Informáticos (UPM)
Department: Sistemas Informáticos
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img] PDF - Users in campus UPM only - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (2MB)
[img] Archive (ZIP) - Users in campus UPM only
Download (7MB)

Abstract

El presente trabajo de fin de grado (TFG) se enmarca en el campo del web scraping y cómo se puede construir una aplicación software distribuida en microservicios. Se presenta un proyecto dividido en dos web scrapers con un único objetivo: la extracción de información de negocios electrónicos y la presentación de los resultados de la búsqueda de diferentes modos, creando una herramienta capaz de registrar las variaciones existentes en el mercado.Se realiza el análisis sobre los portales de venta de productos para la posterior creación de scrapers que obtengan la información de éstos y trabajen en una arquitectura de microservicios encargados de almacenar y presentar las evidencias encontradas por cada uno de ellos.Se construye un primer scraper que consulta un mercado de productos de edición limitada y extrae la información para que el segundo scraper compare el valor de mercado de los productos en un portal de subasta y compraventa.Los resultados de la búsqueda se ofrecen al usuario a través de un bot de Telegram, un PDF y de un portal web en el que se pueden visualizar todos los datos extraídos. Abstract: The present end-of-degree work (TFG) is framed in the field of web scraping and how to build a distributed software application in microservices. It is The project is divided into two web scrapers with a single objective: the extraction of information from different e-businesses and the presentation of the search results in different ways, creating a tool capable of registering the existing variations in the market.The analysis is performed on two web portals selling products for the subsequent creation of scrapers that obtain information from them and work in an architecture of microservices responsible for storing and presenting the evidence found by each of them.A first scraper is built that will consult a market of limited edition products and extract the information for the second scraper to compare the market value of the products in an auction and buying and selling portal.The search results are offered to the user through a Telegram bot, a PDF and a web portal where all the extracted data can be visualized.

More information

Item ID: 70961
DC Identifier: https://oa.upm.es/70961/
OAI Identifier: oai:oa.upm.es:70961
Deposited by: Biblioteca Universitaria Campus Sur
Deposited on: 05 Jul 2022 16:03
Last Modified: 05 Jul 2022 16:03
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM