Análisis crosmodal de un corpus científico

Abstract

Uno de los retos más importantes en las investigaciones científicas
actuales es la representación del conocimiento que albergan
sus
publicaciones, de
manera que se convierta en
información procesable.
La
extracción automática de
conocimiento
supone en este aspecto un avance, ya que otorga la capacidad de
representar conceptos complejos de una
gran
cantidad de artículos.
Estos conceptos, a
su vez,
pueden encontrar
se
representados
de
diferentes
formas
(texto, imágenes,
diagramas, gráficas, mapas,
etc.),
lo
que
convierte
esta
extracción de conocimiento en
una tarea mucho más compleja, pero también más rica.
Es por ello
por lo que, en la
actualidad, e
xisten
diferentes modelos
capaces
de
extraer
conocimiento
para
cada una
de estas
representaciones, pero
hay
un déficit de
procedimientos
que encaren esta tarea
de forma
conjunta.
Bajo esta premisa, en este trabajo se tratará de evaluar la
extracción
de
conocimiento de un corpus
científico,
teniendo en cuenta
las
posibles
modalidades
en
las que se
puede
enco
ntrar (figuras y texto).
Para ello, se llevarán a cabo una serie de
tareas de categorización de artículos científicos alojados tanto en Semantic Scholar
como en Scigraph, basándose en la
rama
de conocimiento
a la que pertenecen,
mediante
un enfoque híbrido
crosmodal
y buscando mejorar aquellos modelos que ofrecen peores
resultados
basándose en una única modalidad. ---ABSTRACT---One
of the most important challenges in the research field today
is the
representation of papers’ knowledge, so
that
it becomes in
processa
ble information.
Automatic knowledge
extraction
is a breakthrough at this point, as it grants the ability of
portraying complex concepts from a huge amount of papers. At the same time, these
concepts may be
represented
throughout different
ways
(text, images, diagrams, graphs,
maps, etc.), which turns
this knowledge extraction task into a much more complex labor,
but also a much richer one too. Because of that, nowadays
there is
a large list of models
for extracting
features
from
each of these
representations, but there is a shortage of
procedures that can address this problem
jointly.
Under this premise, this project will try
to size up the abstraction of knowledge from a corpus of papers,
considering the possible
modalities in which it can be found (figures
and text). For this purpose, some
categorization tasks of research papers hosted in both Semantic Scholar and Scigraph
will be carried out, based on the branch of knowledge to which they belong, by using
a
hybrid
crossmodal
approach
and looking for improve
ments in those models that offer the
worst results
based on a single modality.