CALI: Failure Prediction via Cramer-Wold Latent Inference and KDE
CALI : Prédiction de Défaillance par Inférence Latente de Cramer-Wold et KDE
Résumé
Reliable confidence estimation is essential for deploying deep neural networks in safety-critical applications. A major issue in failure prediction is the lack of score polarisation; preventing a clear separation between success and failure distributions. While this phenomenon is often noted, it is rarely analysed in depth. We introduce CALI, a framework that uses class-specific Cramer-Wold Auto-Encoders with a novel learning strategy, and Kernel Density Estimation to model the resulting discriminative latent manifold, enabling robust confidence assessment in classification. We utilise the Wasserstein distance to formally quantify score distribution separation. Furthermore, we introduce a new metric, the Average Risk Increase (ARI), which measures the loss in failure prediction precision when calibrated thresholds are subjected to variations. ARI could serve as a key indicator for industrial reliability in evolving environments. Experiments across diverse architectures and datasets show that our method reaches state-of-the-art performance in FPR@95TPR and AUPR-error. Our approach consistently achieves the best results in Wasserstein distance and ARI, demonstrating superior score separability and practical robustness for real-world deployment.
Une estimation fiable de la confiance est essentielle pour le déploiement des réseaux de neurones profonds dans des applications critiques pour la sécurité. Un problème majeur dans la prédiction des échecs est le manque de polarisation des scores, ce qui empêche une séparation claire entre les distributions de succès et d’échec. Bien que ce phénomène soit souvent mentionné, il est rarement analysé en profondeur. Nous présentons CALI, un nouveau framework qui utilise des auto-encodeurs spécifiques aux classes basés sur l’inférence de Cramer-Wold, associés à une nouvelle stratégie d’apprentissage, ainsi qu’une estimation de densité par noyau (KDE) pour modéliser la variété latente discriminative résultante, permettant une évaluation robuste de la confiance en classification. Nous exploitons la distance de Wasserstein pour quantifier formellement la séparation des distributions de scores. Par ailleurs, nous introduisons une nouvelle métrique, l’Augmentation Moyenne du Risque (ARI), qui mesure la perte de précision dans la prédiction des échecs lorsque les seuils calibrés sont soumis à des variations. L’ARI pourrait servir d’indicateur clé pour la fiabilité industrielle dans des environnements évolutifs. Les expériences menées sur diverses architectures et jeux de données montrent que notre méthode atteint des performances à l’état de l’art en termes de FPR@95TPR et d’erreur AUPR. Notre approche obtient systématiquement les meilleurs résultats en distance de Wasserstein et en ARI, démontrant une séparabilité supérieure des scores et une robustesse pratique pour un déploiement en conditions réelles.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|---|
| Licence |