Deep learning: Procesamiento del lenguaje natural utilizando Transformers

Fustes Montero, Mario (2022). Deep learning: Procesamiento del lenguaje natural utilizando Transformers. Proyecto Fin de Carrera / Trabajo Fin de Grado, E.T.S.I. de Sistemas Informáticos (UPM), Madrid.

Description

Title: Deep learning: Procesamiento del lenguaje natural utilizando Transformers
Author/s:
  • Fustes Montero, Mario
Contributor/s:
  • Serradilla García, Francisco J.
Item Type: Final Project
Degree: Grado en Ingeniería del Software
Date: July 2022
Subjects:
Freetext Keywords: Procesamiento del Lenguaje Natural; Transformers; Deep learning; Keras; Redes sociales; Inteligencia artificial
Faculty: E.T.S.I. de Sistemas Informáticos (UPM)
Department: Sistemas Informáticos
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img] PDF - Users in campus UPM only - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (2MB)

Abstract

La aparición de las redes sociales ha supuesto un cambio en el paradigma de la comunicación en el mundo contemporáneo. Estas plataformas digitales permiten que los usuarios accedan a innumerables fuentes de información de manera instantánea, añadiendo sus reacciones u opiniones en forma de comentarios. En consecuencia, resulta todo un reto tecnológico para las grandes compañías controlar el contenido existente en sus redes dado el aumento en el número de usuarios que se ha producido en los últimos años. La problemática se acentúa si se pretende dar solución mediante los métodos tradicionales a este tipo de cuestiones debido a su bajo rendimiento. Todo esto sumado con el alto volumen de datos y su elevado coste de procesamiento ha descubierto la necesidad de seguir desarrollando técnicas que permitan el Procesamiento del Lenguaje Natural (PLN) más novedosas. Muchos de estos sistemas están basados en Inteligencia Artificial y facilitan la interacción del humano con la máquina para poder procesar, comprender, clasificar o generar textos de manera automática. A lo largo de este trabajo, se describe de manera detallada el procedimiento necesario para aplicar estas técnicas, desde la selección de tecnologías y extracción de datos, hasta el entrenamiento de los modelos de Inteligencia Artificial y la obtención de resultados. Para llevar a cabo el desarrollo del proyecto, se han utilizado las tecnologías que componen el estado del arte en el procesamiento del lenguaje natural, esto es, el uso de las librerías de Transformers y HuggingFace para el re-entrenamiento de los modelos con Keras. Abstract: The appearance of social networks has meant a change in the paradigm of communication in the contemporary world. These digital platforms allow users to access countless sources of information instantly, allowing them to upload their reactions or opinions to the system. Consequently, it is a technological challenge for large companies to control the content on their networks given the increase in the number of users that has occurred in recent years. The problem is accentuated if it is intended to provide a solution through traditional methods to this type of issue due to its low performance. All of this added to the high volume of data and its high processing cost has revealed the need to continue developing the most innovative Natural Language Processing techniques (NLP) in order to overcome the technological challenge. Many of these systems are based on Artificial Intelligence and facilitate human-machine interaction in order to automatically process, understand, classify or generate texts. Throughout this work, the procedure necessary to apply these techniques is described in detail, from the selection of technologies and data extraction, to the training of the Artificial Intelligence models and the obtaining of results. To carry out the development of the project, the technologies that make up the state of the art in natural language processing have been used, that is, the use of the Transformers and HuggingFace libraries for the fine-tuning of the models with Keras.

More information

Item ID: 71315
DC Identifier: https://oa.upm.es/71315/
OAI Identifier: oai:oa.upm.es:71315
Deposited by: Biblioteca Universitaria Campus Sur
Deposited on: 20 Jul 2022 19:23
Last Modified: 20 Jul 2022 19:23
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM