Predictive models & reasoning with explanations - Archive ouverte HAL
Thèse Année : 2022

Predictive models & reasoning with explanations

Modèles prédictifs & raisonnement avec les explications

Résumé

This thesis studies the problem of explaining individual predictions of black-box machine learning models. This problem is addressed in both single and multi-label classification. Firstly, we introduce an explanation approach representing a combination of SAT solving and numerical measures to develop a model-agnostic method for providing both symbolic and score-based explanations. The idea is to take a single-label classifier, together with an instance, and produce a propositional formula that we will use to generate our explanations. We consider both cases where we can have the logical representation of the model as a whole or an approximation based on a surrogate model. In the second case, a crucial component of the proposed approach is to approximate the model with another (simpler) one that does admit a tractable logical representation to efficiently enumerate explanations. To comply with the original predictor, the selected surrogate model needs to ensure fidelity. Subsequently, this trained model is used to generate symbolic and numerical explanations. In a second time, we consider a SAT framework with the aim of using SAT solvers as the problem solving engine. Given an unsatisfiable formula corresponding to a negative prediction, modern SAT solvers are able to report the cores generating an inconsistency. In this contribution, we provide two complementary types of symbolic explanations of unsatisfiability called sufficient reasons and counterfactuals centered around Minimal Unsatisfiable Subsets (MUS) and Minimal Correction Subsets (MCS) respectively. Secondly, we have worked on defining measures of the quality of an explanation and of a variable contribution to properly assess how relevant they are as it becomes necessary to focus on those providing more insights. Next, we have worked on defining possible explanation mechanisms to explain the outcomes of multi-label classifiers. We have introduced explanations at different granularity levels which go from structural relationships between labels to the selection of features. Finally, we were interested in feature-level importance scores for how much a given input feature contributes to a multi-label model’s output. This contribution looks into two different possibilities of using existing methods for single-label as oracles or using feature attributions obtained from symbolic explanations. In order to evaluate the quality of feature attributions, we extend the properties of sensitivity, data-stability to the multi-label setting in addition to a new property specific to multi-label classification we called label-explanation correlation.
Cette thèse étudie une méthode d’explicabilité qui allie à la fois le caractère "agnostique" des méthodes numériques et qui propose des explications plus "rigoureuses" qui caractérisent les explications symboliques. Le but étant d’expliquer les prédictions des techniques de classification mono-étiquette et multi-étiquettes. Plusieurs contributions sont apportées dans cette thèse. Premièrement, nous avons travaillé sur le cas mono-étiquette. Nous avons proposé une approche qui va de l’encodage en représentation symbolique du modèle dont on souhaite expliquer les prédictions à la génération d’explication basée sur un oracle SAT. L’idée est de prendre un classifieur, avec une instance, et de produire une formule propositionnelle que nous utiliserons pour générer nos explications. L’inconsistance de cette formule permet d’expliquer les prédictions. Nous considérons les deux cas où nous pouvons avoir la représentation logique du modèle dans son ensemble ou une approximation basée sur un modèle de substitution. Nous nous intéressons à deux types complémentaires d’explications symboliques : les raisons suffisantes qui correspondent à un sous-ensemble minimal de l’entrée conduisant à une prédiction spécifique et les contrefactuelles qui correspondent à un sous-ensemble de l’entrée permettant de déterminer les modifications minimales à apporter pour obtenir une prédiction différente. Deuxièmement, nous avons proposé des propriétés à considérer afin de prioriser et sélectionner les explications en évaluant leur pertinence ainsi que celle des variables les composants. Par la suite, nous nous sommes intéressés à l’explication des prédictions multi-étiquettes. Nous avons proposé des explications multi-étiquettes à différents niveaux de granularité et étudié la combinaison d’explications mono-étiquette ainsi que les relations structurelles entre classes comme moyen de les générer. Enfin, nous nous sommes intéressés aux scores d’importance au niveau des caractéristiques pour déterminer dans quelle mesure chacune contribue à la sortie d’un modèle multi-étiquettes. Cette contribution examine deux possibilités différentes d’utiliser des méthodes existantes pour le cas mono-étiquette comme oracles ou d’utiliser des attributions de caractéristiques obtenues à partir d’explications symboliques. Afin d’évaluer la qualité des attributions de caractéristiques, nous étendons les propriétés de sensibilité, de stabilité des données au cas multi-étiquettes en plus d’une nouvelle propriété spécifique à la classification multi-étiquettes que nous appelons corrélation label-explication.
Fichier principal
Vignette du fichier
113085_BOUMAZOUZA_2022_archivage.pdf (11.76 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-04507525 , version 1 (16-03-2024)

Licence

Domaine public

Identifiants

  • HAL Id : tel-04507525 , version 1

Citer

Ryma Boumazouza. Predictive models & reasoning with explanations. Artificial Intelligence [cs.AI]. Université d'Artois, 2022. English. ⟨NNT : ⟩. ⟨tel-04507525⟩
47 Consultations
39 Téléchargements

Partager

More