Benchmarking Semantic Web technology

Abstract

Semantic Web technologies need to interchange ontologies for further use. Due to the heterogeneity in the knowledge representation formalisms of the different existing technologies, interoperability is a problem in the SemanticWeb and the limits of the interoperability of current technologies are yet unknown. A massive improvement of the interoperability of current SemanticWeb technologies, or of any other characteristic of these technologies, requires continuous evaluations that should be defined and conducted in consensus, using generic, reusable, freely-available, and affordable tools and methods. This thesis presents the following contributions to the field of benchmarking within Semantic Web technologies: It proposes a benchmarking methodology for Semantic Web technologies. It defines the UPM Framework for Benchmarking Interoperability, an evaluation infrastructure that includes all the resources (experiment definitions, benchmark suites and tools) needed for benchmarking the interoperability of Semantic Web technologies using RDF(S) and OWL as interchange languages. It describes two interoperability benchmarking activities carried out over Semantic Web technologies and provides detailed interoperability results of the tools that participated in them; the RDF(S) Interoperability Benchmarking that contemplates interoperability using RDF(S) as the interchange language, and the OWL Interoperability Benchmarking that contemplates interoperability using OWL as the interchange language. Las diferentes tecnologías de la Web Semántica necesitan intercambiar ontologías para su posterior utilización. La Web Semántica, por otro lado, tiene que hacer frente al problema de la interoperabilidad, que está causado, en gran medida, por la heterogeneidad de los formalismos de representación de conocimiento de las distintas tecnologías existentes, siendo la interoperabilidad en la Web Semántica un problema cuyos límites hoy se desconocen. Una mejora masiva de la interoperabilidad de las tecnologías actuales de la Web Semántica, o de cualquier otra característica de dichas tecnologías, requiere evaluaciones continuas, que sean definidas y realizadas en consenso, utilizando herramientas y métodos que sean genéricos, reutilizables, públicos y económicos. Esta tesis presenta las siguientes contribuciones al campo de benchmarking en las tecnologías de la Web Semántica: Propone una metodología de benchmarking para las tecnologías de la Web Semántica. Define el UPM Framework for Benchmarking Interoperability, una infraestructura de evaluación que incluye todos los recursos (definiciones de experimentos, conjuntos de pruebas y herramientas) necesarios para hacer benchmarking de la interoperabilidad de las tecnologías de la Web Semántica utilizando RDF(S) y OWL como lenguajes de intercambio. Describe dos actividades de benchmarking de las tecnologías de la Web Semántica y ofrece los resultados detallados de las herramientas que participaron en las mismas; el RDF(S) Interoperability Benchmarking, que contempla la interoperabilidad utilizando RDF(S) como lenguaje de intercambio, y el OWL Interoperability Benchmarking, que también contempla la interoperabilidad pero utiliza OWL como lenguaje de intercambio.