Metodología de validación de explicaciones generadas mediante técnicas de IAX post-hoc para procesos de aprendizaje automático

Resumen

La Inteligencia Artificial eXplicable (IAX) es un campo de investigación emergente que aborda los desafíos de explicabilidad, transparencia y sesgos en los Sistemas de Inteligencia Artificial (SIA). Una de sus iniciativas es generar explicaciones post-hoc de modelos de aprendizaje automático que faciliten la comprensión de sus resultados, justifiquen sus decisiones, corrijan los SIA durante su desarrollo y descubran nuevo conocimiento. Sin embargo, al igual que los modelos de aprendizaje automático, la calidad de estas explicaciones puede variar y causar que no siempre sean adecuadas para una tarea de predicción. Además, no existe un consenso en la literatura sobre cómo evaluarlas y validarlas. Este proyecto propone una metodología para validar las explicaciones generadas mediante técnicas IAX post-hoc, agnósticas del modelo y en forma de importancia de características, para procesos de aprendizaje automático. Esta metodología simplifica la tarea de evaluación y validación de la explicabilidad de los SIA y facilita la selección de las explicaciones más adecuadas para un problema de clasificación. Para ejemplificar su funcionamiento, la metodología se aplica a diferentes problemas de clasificación, demostrando que todas sus etapas son esenciales para obtener conclusiones fiables.

ABSTRACT

Explainable Artificial Intelligence (XAI) is an emerging research field focused on addressing the challenges of explainability, transparency, and biases in Artificial Intelligence Systems (AIS). One of its key initiatives is to generate post-hoc explanations of machine learning models, , which can help users understand the results, justify decisions, correct the AIS during development, and uncover new knowledge. However, like the machine learning models themselves, the quality of these explanations can vary and sometimes make them unsuitable for a specific prediction task. Additionally, there is no consensus in the literature on how to evaluate and validate them. This project proposes a methodology to validate the explanations generated using post-hoc XAI methods, that are model-agnostic and based on feature importance. The proposed methodology simplifies the evaluation and validation of AIS explainability, facilitating the selection of the most suitable explanations for a classification problem. To demonstrate its utility, the methodology is applied to various classification problems, illustrating that it consists of a series of essential steps to obtain reliable conclusions.