ChatUPM, aplicación de modelos GPT a la normativa de la Universidad Politécnica de Madrid

Abstract

El rápido avance tecnológico de los últimos años ha impulsado la demanda de soluciones innovadoras en diversas áreas de la sociedad. Por ejemplo, en empresas e instituciones educativas, es cada vez más necesario asistir a las personas ofreciéndoles respuestas personalizadas sobre información relevante u orientación en procesos complejos. En este contexto, los chatbots se han convertido en una herramienta clave para responder de forma rápida y precisa a los usuarios.

Este Trabajo Fin de Máster se centra en utilizar la arquitectura de vanguardia de los modelos Transformer, en particular, los modelos GPT. El objetivo principal es desarrollar un chatbot personalizado, llamado ChatUPM, que se especialice en la normativa de alumnos de la Universidad Politécnica de Madrid (UPM). Al aplicar estos modelos avanzados, se busca proporcionar a los alumnos un recurso accesible para resolver sus dudas, obtener información sobre los procedimientos de la universidad y fomentar el cumplimiento de sus normas.

Esta memoria comienza con una visión general del estado del arte en el campo del procesamiento del lenguaje natural, con los modelos Transformer y su gran acogida en multitud de casos de uso. También se pone énfasis en la habilidad de los modelos GPT para comprender y generar texto que se asemeja a la comunicación entre seres humanos. Esto los convierte en una pieza fundamental para la creación de asistentes conversacionales virtuales, conocidos como chatbots. Un ejemplo notable de esto es el fenómeno ChatGPT, con más de 100 millones de usuarios activos a principios de este año.

Para la construcción de ChatUPM, se sigue una metodología de web scraping para recopilar de manera exhaustiva los documentos legislativos, directamente de las fuentes oficiales de la Universidad Politécnica de Madrid. Estos documentos se preprocesan para generar embeddings, que capturan la información semántica y contextual de los textos legislativos en forma de vectores numéricos. Mediante este enfoque, se implementa una búsqueda por similitud, lo que nos permite proporcionar al modelo GPT el contexto legislativo más relevante según la consulta del usuario; esto mejora significativamente la capacidad del modelo para generar respuestas precisas y adecuadas.

En cuanto al proceso de desarrollo, se construye una REST API utilizando Flask, lo cual permite establecer una interacción directa entre el chatbot y los usuarios. Por otra parte, el diseño frontend desarrollado para la interfaz de ChatUPM brinda una experiencia de usuario fácil e intuitiva.

Los resultados del presente trabajo confirman la eficacia del empleo de modelos GPT en casos de uso particulares. El asistente ChatUPM proporciona respuestas precisas, rápidas y contextualizadas a las consultas de los usuarios, facilitando el acceso y navegación por la normativa de la UPM de manera sencilla. Con esto se demuestra el potencial de combinar técnicas como el web scraping, embeddings, búsqueda por similitud y modelos GPT en la creación de sistemas inteligentes que brindan asistencia y orientación en el ámbito educativo.

ABSTRACT

This Master’s Thesis focuses on utilizing the cutting-edge architecture of Transformer models, particularly GPT models. The main objective is to develop a customized chatbot, called ChatUPM, specializing in the students’ regulation at the Universidad Politécnica de Madrid (UPM). By applying these advanced models, the aim is to provide students with an accessible resource to address their doubts, obtain information about university procedures, and promote compliance with regulations.

This report begins with an overview of the state of the art in the field of natural language processing, focusing on Transformer models and their wide range of use cases. It also emphasizes the ability of GPT models to understand and generate text that resembles human communication. This makes them a fundamental component for creating virtual conversational assistants known as chatbots. An notable example of this is the ChatGPT phenomenon, with over 100 million active users earlier this year.

For the construction of ChatUPM, a web scraping methodology is followed to thoroughly gather legislative documents directly from the official sources of the Universidad Politécnica de Madrid. These documents are pre-processed to generate embeddings, which capture the semantic and contextual information of the legislative texts in the form of numerical vectors. Through this approach, a similarity search is implemented, allowing us to provide the most relevant legislative context to the GPT model based on the user’s query. This significantly enhances the model’s ability to generate accurate and appropriate responses.

In terms of development process, a REST API is built using Flask, enabling direct interaction between the chatbot and users. Additionally, the frontend design developed for the ChatUPM interface provides an easy and intuitive user experience.

The results of this work confirm the effectiveness of employing GPT models in specific use cases. The ChatUPM assistant provides accurate, quick, and contextualized responses to user queries, facilitating easy access and navigation through UPM regulations. This demonstrates the potential of combining techniques such as web scraping, embeddings, similarity search and GPT models in the creation of intelligent systems that provide assistance and guidance in the educational domain.