Pertinence des mesures de confiance en classification
Résumé
Nous posons le problème de la validation locale des réseaux de neurones artificiels et plus généralement des systèmes automatiques de reconnaissance des formes dans un contexte opérationnel (industriel ou médical par exemple). Est-il possible d’associer un degré de confiance à la réponse locale d’un classifieur semi-paramétrique ? Comment le calculer ? Comment juger de sa pertinence ? Nous explorons cette question importante peu traitée dans la littérature du domaine en la formulant dans le cadre des perceptrons multicouches (PMC). Deux types de mesures heuristiques de confiance sont proposés : l'un reflétant la qualité de la modélisation opérée par le système, l'autre traduisant l'importance relative des estimations des probabilités des classes perdantes. Nous proposons aussi des critères d'évaluation de ces mesures et appliquons ensuite les méthodes proposées sur un exemple simulé et sur un problème réel de diagnostic. Les mesures de confiance proposées permettent de rejeter les exemples pour lesquels la réponse du système s'avère ambiguë.