Rule-Based Monitoring
Résumé
Pour traiter des taches complexes, le monitoring à base d'IA s'impose aujourd'hui au travers de différents technologies. Les technologies basées sur les données offrent généralement de meilleures performances et une plus grande précision, mais peuvent manquer d'explicabilité et de traçabilité dans les alarmes déclenchées. A l'inverse, les technologies fondées sur des règles peuvent présenter des performances et une précision moindre. Mais elles produisent des rapports compréhensibles par l'homme, avec une traçabilité du processus qui a déclenché les alarmes.
Les technologies fondées sur des règles peuvent être exigées par certains organismes de réglementation pour obtenir des certifications de qualité ou de sécurité. Pour cela, les performances du modèle doivent être étudiées pour tout paramètre de l'ODD (operating design domain) ajouté synthétiquement dans une gamme d'intensité pour augmenter les échantillons de l'ensemble de données d'apprentissage d'une manière contrôlée. Ces ajouts permettent de :
- définir les plages de paramètres ODD pour lesquelles le modèle est performant et peut fonctionner en toute sécurité.
- identifier les paramètres ODD qui doivent être surveillés dans les données d'entrée du système.
- étalonner les détecteurs de surveillance basés sur des règles pour les paramètres ODD d'intérêt.
Un focus sera fait sur une problématique de détection d'objet sur des images de prise de vue réelle pour l'aéronautique.
Les principales fonctionnalités de la proposition sont la caractérisation de l'ODD du modèle et le monitoring des entrées de ce modèle à la recherche d'anomalies pouvant perturber la confiance à accorder aux résultats d'inférence.
Les techniques d'intelligence artificielle impliquées concernent les algorithmes de robustesse, la calibration de fonctions de mesure d'anomalie, la réactualisation des scores d'inférence au vu de l'impact d'éventuelles anomalies sur les données d'entrée.
Le cas d'usage présente des données de production arrivant en entrée d'un système d'IA, et dont le monitoring permet d'établir un statut sur les types et les degrés d'anomalies éventuelles de ces données, et de réévaluer la confiance à accorder aux prédictions du système d'IA sur ces données.