Facilitating the inference interpretation in Bayesian networks

Abstract

El objetivo de este trabajo es contribuir a salvar un obstáculo importante en la adopción de la inteligencia artificial en la nuestra vida diaria: la falta de transparencia e interpretabilidad de sus modelos. Este asunto es clave en sectores como la justicia o la sanidad. Un sistema inteligente que proporcione al usuario explicaciones sobre cómo llegó a la conclusión, ya sea correcta o incorrecta, no solamente será más confiable, sino que es necesario para cumplir con la legislación europea vigente.

Las redes bayesianas destacan sobre otros paradigmas del machine learning por presentar características que las hacen particularmente interpretables: la rápida visualización de las relaciones entre variables en un grafo, y la posibilidad de todo tipo de razonamientos: predictivo, diagnóstico, abductivo, contrafáctico. . . .

Existe una amplia variedad de casuísticas en las cuales las explicaciones pueden ser útiles, así como un extensa categorización de explicaciones. Este trabajo tiene como objetivo presentar nuevas propuestas que puedan mejorar la interpretabilidad en la inferencia probabilística con redes Bayesiana. En primer lugar abordaremos los dos métodos exactos más populares (eliminación de variables y árbol de cliqués), centrándonos en describir el proceso de razonamiento con especial hincapié en el orden de eliminación de variables. En segundo lugar abordaremos los métodos de inferencia aproximada, centrándonos en justificar la convergencia del muestreo de Gibbs.

Seguiremos con otro tipo de inferencia, la inferencia abductiva, para presentar una nueva pregunta que puede ser de interés para el usuario en el caso concreto de datos Gaussianos, y su posible resolución usando algoritmos de estimación de distribución (EDAs). Para ello, en primer lugar se ha adaptado y extendido la librería EDAspy y se han aplicado la metodología a dos conjuntos de datos distintos, con su respectiva interpretación de resultados.

Por último, dada la ausencia de software para el cálculo de k explicaciones más relevantes dada una evidencia (k-MRE), se llevará a cabo la implementación, con funcionalidad añadida para una mejor comparativa de las explicaciones más relevantes. En concreto, se lleva a cabo una representación con coordenadas paralelas de las diferentes explicaciones, y se ofrece una métrica para medir la diversidad de las diferentes explicaciones con respecto a la explicación más relevante.

ABSTRACT

The objective of this work is the contribution to overcoming the main obstacle in the adoption of artificial intelligence in our daily life: the lack of transparency and interpretability. This issue is key in sectors such as justice or health. An intelligent system that provides the user with explanations of how the conclusion was reached, whether correct or incorrect, will not only be more reliable, but is necessary to comply with current European legislation.

Bayesian networks stand out from other machine learning paradigms for presenting characteristics that make them particularly interpretable: the visualization of the relationships between variables at a glance in the graph, and the possibility of all kinds of reasoning: predictive, diagnostic, abductive, counterfactual. . . .

There is a wide variety of cases in which explanations can be useful, as well as extensive categorization of explanations. This work aims to present new proposals that can improve the interpretability in probabilistic inference in Bayesian networks. First, we will address the two most popular exact methods (Variable elimination and Junction tree clustering algorithm), focusing on describing the reasoning process with special emphasis on the order of variable elimination. Secondly, we will address the approximate inference methods, focusing on justifying the convergence of Gibbs sampling.

We will continue with another type of inference, the abductive inference. The goal is to present a new question that may be of interest to the user in the specific case of Gaussian data, and its possible resolution using Estimation of Distribution Algorithms (EDAs). Firstly, the EDAspy library has been adapted and extended. Secondly, the methodology has been applied to two different data sets, with their respective interpretation of results.

Finally, given the absence of software for calculating the k most relevant explanations given some evidence (k-MRE), the implementation will be carried out, with added functionality for a better comparison of the most relevant explanations. In particular, we carry out a representation with parallel coordinates of the different explanations, and offer a metric to measure the diversity of the different explanations with respect to the most relevant explanation.