Aprendizaje multimodal en redes sociales para identificar diseminadores de odio

Álvarez de Miranda Rodríguez, José Ignacio (2022). Aprendizaje multimodal en redes sociales para identificar diseminadores de odio. Proyecto Fin de Carrera / Trabajo Fin de Grado, E.T.S.I. de Sistemas Informáticos (UPM), Madrid.

Description

Title: Aprendizaje multimodal en redes sociales para identificar diseminadores de odio
Author/s:
  • Álvarez de Miranda Rodríguez, José Ignacio
Contributor/s:
  • Huertas Tato, Javier
Item Type: Final Project
Degree: Grado en Ingeniería del Software
Date: July 2022
Subjects:
Freetext Keywords: Procesamiento del Lenguaje Natural; Análisis del sentimiento; Redes sociales; Twitter; Teoría de grafos; Transformers; Embeddings
Faculty: E.T.S.I. de Sistemas Informáticos (UPM)
Department: Sistemas Informáticos
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img] PDF - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (4MB)

Abstract

Las metodologías de detección de diseminación de odio en redes sociales online se basan en su mayoría en el análisis textual, ignorando otras fuentes de información como las imágenes o las conexiones entre usuarios de la red. En este Proyecto de Fin de Grado (PFG) se explora cómo integrar Procesado del lenguaje natural y teoría de grafos para detectar diseminadores de odio online. Combinando redes neuronales Transformer con redes de atención de grafos (GATs), la clasificación de estos usuarios problemáticos debería ser más robusta que utilizar exclusivamente texto o topología de red por separado. Se proponen dos arquitecturas multimodales para combinar ambas fuentes de información. En la primera el modelo Transformer genera una representación o embedding del texto que se pasa al GAT para que obtenga una predicción. En la segunda versión de la arquitectura, tanto Transformer como GAT aportan embeddings que se combinan para formar una representación multimodal de la información, a partir de la cual obtener las predicciones. Para comprobar empíricamente el rendimiento de estos sistemas se cuenta con datos históricos de Twitter etiquetados manualmente, a partir de los cuales se ha extraído un grafo con conexiones entre usuarios que se retweetean o mencionan entre sí. En dicha red se encuentran tanto usuarios diseminadores de odio como normales, que han escrito una serie de textos a lo largo del tiempo así como una descripción personal. El trabajo realizado consiste en una comparativa entre el rendimiento de los modelos a la hora de clasificar a los usuarios de dicha red. La experimentación ha probado que la primera arquitectura no es capaz de mejorar la calidad de los modelos unimodales, mientras que con la segunda se alcanzan valores F1 score de alrededor de 0.7. Abstract: Currently, the detection of hate speech in online social networks is mainly based on textual analysis, ignoring other sources of information such as images or connections between network users. In this Final Degree Project, we combine Natural Language Processing and graph theory to detect hateful disseminators in online social media. By combining Transformer neural networks with graph attention networks (GATs), the classification of these users should be more robust than using exclusively text or network topology separately. Two multimodal architectures are proposed to combine both information sources. In the first one, the Transformer model generates a representation or embedding of the text that is passed to the GAT model to obtain a prediction. In the second version of the architecture, both Transformer and GAT provide an embedding that is combined to form a multimodal representation of the information, from which the predictions are obtained. To empirically test the performance of these systems, we rely on manually labeled historical Twitter data, from which we have extracted a graph with connections between users who retweet or mention each other. In this network, there are both hateful and normal users, who have written a series of texts over time as well as personal descriptions. The work carried out consists of a comparison between the performance of the models in classifying the users of this network. Experimentation has proven that the first architecture is not able to improve the quality of the unimodal models, while with the second one F1 score values of around 0.7 are achieved.

More information

Item ID: 71293
DC Identifier: https://oa.upm.es/71293/
OAI Identifier: oai:oa.upm.es:71293
Deposited by: Biblioteca Universitaria Campus Sur
Deposited on: 19 Jul 2022 19:44
Last Modified: 19 Sep 2022 22:30
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM