Règles d'Edition: fouille et application au nettoyage de données
Résumé
Les problèmes liés à la qualité des données sont de plus en plus critiques. Certaines classes de contraintes comme les dépendances fonctionnelles conditionnelles (DFCs) ont été introduites pour le nettoyage de données. Les méthodes de nettoyage basées sur les CFDs sont efficaces pour capturer les erreurs mais sont limitées pour les corriger. L'essor récent de la gestion de données de référence (Master Data Management, MDM) a permis l'introduction d'une nouvelle classe de règles d'édition qui permet d'identifier exactement les attributs en erreur et de proposer les valeurs correctes correspondantes issues des données de référence.
Cependant, concevoir ces règles manuellement est un processus coûteux. Dans cet article nous traitons d'une part le problème de la fouille de ces règles et d'autre part leur utilisation pour le nettoyage de données. Nous proposons dans un premier temps une nouvelle sémantique des règles d'édition, puis des méthodes efficaces de fouille basées sur les DFCs et les
correspondances entre attributs. Finalement, dans un cadre d'application de nettoyage de données, nous proposons des heuristiques basées sur ces règles avant de mener des expériences sur des données réelles pour montrer la faisabilité et le passage à l'échelle de nos propositions.