Optimisation and interactive data analysis: the Traveling Analyst Problem - Archive ouverte HAL Access content directly
Theses Year : 2023

Optimisation and interactive data analysis: the Traveling Analyst Problem

Optimisation et analyse interactive de données : le Problème du Voyageur de Données

Abstract

This thesis contributes to the automation of EDA (exploratory data analysis). EDA is the iterative process of performing an action (such as a query on data), receiving the result, and deciding on the next step. The final goal of EDA is the extraction of insights, fragments of useful information justified by the data. Automating EDA requires overcoming several hurdles, notably identifying and correctly presenting the most interesting insights from a database. In this thesis, we address the problem of constructing a sequence of queries representing relevant insights. We introduce and study the associated optimization problem, called the traveling analyst problem (TAP). We establish the relation between TAP and a family of classic transport problems named orienteering problems. Surveying the literature, we identify the comparison task as the main staple of data workers. We formally define the associated comparison insights and comparison queries. We propose different solution strategies for small and large databases. They include matheuristics, a recent development in the operation research community. Matheuristics take advantage of mathematical solvers in their construction. They proved capable of producing high-quality solutions to the TAP for small-size databases. For large-size databases, we first tackled the challenging construction of the TAP instances, requiring several optimization strategies to execute millions of statistical tests in less than an hour. Finally, we take inspiration from the process of column generation. We introduce query generation, a method that is capable of solving the TAP without exploring the full set of comparison queries associated with a database.
Cette thèse contribue à l’automatisation de l’AED (analyse exploratoire des données). L’AED est un processus itératif qui consiste à analyser des données en effectuant des actions (telle qu’une requête sur des données), à recevoir le résultat et à décider de l’étape suivante. L’objectif final de l’AED est l’extraction de trouvailles, des fragments d’informations utiles étayées par les données. L’automatisation de l’AED nécessite de surmonter plusieurs obstacles, dont notamment l’identification et la représentation des informations les plus intéressantes présentent dans une base de données. Dans cette thèse, nous abordons le problème de la construction d’une séquence de requêtes représentant des informations pertinentes. Nous introduisons et étudions le problème d’optimisation associé, nommé le problème du voyageur de données (TAP). Nous établissons la relation entre le TAP et une famille de problèmes de transport classiques appelés problèmes d’orientation. En étudiant la littérature, nous avonsidentifié l’action de comparaison de données comme la principale activité des travailleurs de la donnée. Nous définissons formellement les trouvailles de comparaison et les requêtes de comparaison associées. Nous proposons différentes stratégies de résolution selon les tailles des bases de données, dont notamment des matheuristiques. Celles-ci tirent profit des solveurs mathématiques pour construire des solutions de haute qualité au TAP, notamment pour les bases de données de petite taille. Pour les bases de données de grandes taille, nous nous sommes d’abord chargé de la construction des instances du TAP. Une tache complexe, nécessitant la mise en œuvre de plusieurs stratégies d’optimisation notamment pour exécuter des millions de tests statistiques rapidement. Ces instances peuvent ensuite être résolu grâce a deux heurisitques. Finallement, pour eviter ce process de construction des instances, nous nous inspirons du processus de génération de colonnes. Nous introduisons la génération de requêtes, une méthode capable de résoudre le TAP sans explorer l’ensemble des requêtes de comparaison associées à une base de données.
Fichier principal
Vignette du fichier
Alexandre_Thesis_final.pdf (2.61 Mo) Télécharger le fichier
Origin Files produced by the author(s)
Licence

Dates and versions

tel-04596465 , version 1 (31-05-2024)

Licence

Identifiers

  • HAL Id : tel-04596465 , version 1

Cite

Alexandre Chanson. Optimisation and interactive data analysis: the Traveling Analyst Problem. Databases [cs.DB]. Université de Tours, 2023. English. ⟨NNT : ⟩. ⟨tel-04596465⟩
40 View
2 Download

Share

Gmail Mastodon Facebook X LinkedIn More