ADESIT - A web application for visualizing the limits of a dataset in supervised learning
ADESIT - Une application web interactive pour visualiser les limites d'un jeu de données en apprentissage supervisé
Résumé
Thanks to the numerous machine learning tools available to us nowadays, it is easier than ever to derive a model from a dataset in the frame of a supervised learning problem. However, when this model behaves poorly compared with an expected performance, the underlying question of the existence of such a model is often underlooked and one might just be tempted to try different parameters or just choose another model architecture. This is why the quality of the learning examples should be considered as early as possible as it acts as a go/no go signal for the following potentially costly learning process. With ADESIT, we provide a way to evaluate the ability of a dataset to perform well for a given supervised learning problem through statistics and visual exploration. Notably, we base our work on recent studies proposing the use of functional dependencies and specifically counterexample analysis to provide dataset cleanliness statistics but also a theoretical upper bound on the prediction accuracy directly linked to the problem settings (measurement uncertainty, expected generalization...). In brief, ADESIT is intended to be part of an iterative data refinement process right after data selection and right before the machine learning process itself. With further analysis for a given problem, the user can characterize, clean and export dynamically selected subsets, allowing to better understand what regions of the data could be refined and where the data precision must be improved by using, for example, new or more precise sensors.
Grâce aux nombreux outils d'apprentissage machine dont nous disposons aujourd'hui, il est plus facile que jamais de produire un modèle à partir d'un jeu de données dans le cadre d'un problème d'apprentissage supervisé. Cependant, lorsque ce modèle se comporte mal par rapport aux performances attendues, la question sous-jacente de l'existence d'un tel modèle est souvent négligée et l'on peut être tenté de choisir directement une autre architecture ou d'essayer d'autres paramètres d'entraînement. C'est pourquoi la qualité des exemples d'apprentissage doit être prise en compte le plus tôt possible car elle agit comme un go/no-go pour le processus d'apprentissage subséquent qui peut se révéler coûteux.
Avec ADESIT, nous proposons un moyen d'évaluer la capacité d'un jeu de données à donner de bons résultats pour un problème d'apprentissage supervisé à travers des statistiques et une exploration visuelle. Notamment, nous basons notre travail sur des études récentes proposant l'utilisation des dépendances fonctionnelles et spécifiquement l'analyse des contre-exemples. Ainsi, nous fournissons des statistiques sur la propreté du jeu de données mais aussi une limite supérieure théorique sur la précision de prédiction directement liée aux paramètres du problème (incertitude de mesure, généralisation attendue...). En bref, ADESIT est destiné à faire partie d'un processus itératif de raffinement des données, juste après la sélection et juste avant le processus d'apprentissage. Avec une analyse plus poussée pour un problème donné, l'utilisateur peut caractériser, nettoyer et exporter des sous-ensembles sélectionnés dynamiquement, permettant de mieux comprendre quelles régions des données pourraient être affinées et où la précision des données doit être améliorée en utilisant, par exemple, des capteurs nouveaux ou plus précis.
