Creación de una librería de modelo de lenguaje para extracción de palabras clave no supervisada utilizando auto-atención y atención cruzada

Abstract

Una ingente cantidad de documentos científicos, no solamente artículos de investigación, se publican cada año. Muchos de ellos carecen de palabras clave o descriptores asociados a los mismos, lo que dificulta enormemente su búsqueda y clasificación. Dentro del campo del Procesamiento Natural del Lenguaje, el uso de modelos de lenguaje para resolver esta tarea ha dado fructíferos resultados. Sin embargo, un problema recurrente en el ámbito de la investigación es que muchos de los modelos desarrollados, pese a obtener resultados igual o superiores a los del estado de la cuestión, no se ponen en práctica debido a su poca usabilidad, practicidad u obsolescencia en lo que a código se refiere. Además, actualmente los principales modelos de lenguaje para extracción de términos clave que se han desarrollado están enfocados en textos en inglés. En este trabajo se busca la implementación de una librería que adapte un modelo del estado de la cuestión que cuenta con los problemas mencionados anteriormente para que se le pueda dar uso y en otros idiomas como el español.

ABSTRACT

A vast amount of scientific documents, not just research articles, are published each year. Many of them lack keywords or descriptors associated with them, which greatly hinders their search and classification. Within the field of Natural Language Processing, the use of language models to solve this task has yielded fruitful results. However, a recurring problem in the research field is that many of the developed models, despite obtaining results equal to or better than the state of the art, are not put into practice due to their low usability, practicality or obsolescence in terms of code. In addition, currently the main language models for key term extraction that have been developed are focused on texts in English. In this work, we seek to implement a library that adapts a state-of-the-art model that has the aforementioned problems so that it can be used in other languages such as Spanish.