Bayesian networks for static and temporal data fusion
Réseaux Bayesiens pour fusion de données statiques et temporelles
Résumé
Prediction and inference on temporal data is very frequently performed using time series data alone. We believe that these tasks could benefit from leveraging the contextual metadata associated to time series - such as location, type, etc. Conversely, tasks involving prediction and inference on metadata could benefit from information held within time series. However, there exists no standard way of jointly modeling both time series data and descriptive metadata. Moreover, metadata frequently contains highly correlated or redundant information, and may contain errors and missing values.
We first consider the problem of learning the inherent probabilistic graphical structure of metadata as a Bayesian Network. This has two main benefits: (i) once structured as a graphical model, metadata is easier to use in order to improve tasks on temporal data and (ii) the learned model enables inference tasks on metadata alone, such as missing data imputation. However, Bayesian network structure learning is a tremendous mathematical challenge that involves a NP-Hard optimization problem. We present a tailor-made structure learning algorithm, inspired from novel theoretical results, that exploits (quasi)-deterministic dependencies that are typically present in descriptive metadata. This algorithm is tested on numerous benchmark datasets and some industrial metadata sets containing deterministic relationships. In both cases it proved to be significantly faster than state-of-the-art, and even found more performant structures on industrial data. Moreover, learned Bayesian networks are consistently sparser and therefore more readable.
We then focus on designing a model that includes both static (meta)data and dynamic data. Taking inspiration from state-of-the-art probabilistic graphical models for temporal data (Dynamic Bayesian Networks) and from our previously described approach for metadata modeling, we present a general methodology to jointly model metadata and temporal data as a hybrid static-dynamic Bayesian network. We propose two main algorithms associated to this representation: (i) a learning algorithm, which while being optimized for industrial data, still generalizes to any task of static and dynamic data fusion, and (ii) an inference algorithm, enabling both usual tasks on
temporal or static data alone, and tasks using the two types of data.
Finally, we discuss some of the notions introduced during the thesis, including ways to measure the generalization performance of a Bayesian network by a score inspired from the cross validation procedure from supervised machine learning. We also propose various extensions to the algorithms and theoretical results presented in the previous chapters, and formulate some research perspectives.
.
La prédiction et l’inférence sur les données temporelles sont souvent effectuées en utilisant uniquement des données provenant de séries temporelles. Nous sommes convaincus que ces tâches pourraient tirer parti de l’utilisation des métadonnées contextuelles associées aux séries temporelles, telles que la localisation, le type, etc. À l’inverse, les tâches impliquant la prédiction et l’inférence sur les métadonnées pourraient bénéficier des informations contenues dans les séries temporelles. Cependant, il n’existe pas de méthode standard pour modéliser conjointement les données de séries temporelles et les métadonnées descriptives. De plus, les métadonnées contiennent typiquement des informations hautement corrélées ou redondantes et peuvent contenir des erreurs et des valeurs manquantes.
Nous examinons d’abord le problème de l’apprentissage de la structure graphique probabiliste inhérente aux métadonnées sous la forme d’un réseau bayésien. Cela présente deux avantages principaux: (i) une fois structuré en tant que modèle graphique, les métadonnées sont plus faciles à utiliser pour améliorer les tâches sur des données temporelles et (ii) le modèle appris permet des tâches d’inférence sur les métadonnées seules, comme l’imputation de données manquantes. Cependant, l’apprentissage de structure de réseau bayésien est défi mathématique conséquent, qui implique un problème d’optimisation NP-Difficile. Nous présentons un algorithme d’apprentissage de structure sur mesure, inspiré de nouveaux résultats théoriques, qui exploite les dépendances (quasi)-déterministes généralement présentes dans les métadonnées de-
scriptives. Cet algorithme est testé sur de nombreux jeux de données de référence et certains jeux de métadonnées industriels contenant des relations déterministes. Dans les deux cas, il s’est avéré nettement plus rapide que les algorithmes de référence et trouve même des structures plus performantes sur certains jeux de données. De plus, les réseaux bayésiens appris sont systématiquement moins denses et donc plus lisibles.
Nous nous intéressons ensuite à la conception d’un modèle qui inclut à la fois des (méta)données statiques et des données temporelles. En nous inspirant des modèles graphiques probabilistes de référence pour les données temporelles (réseaux Bayésiens dynamiques) et de l’approche décrite précédemment pour la modélisation des métadonnées, nous présentons une méthodologie générale pour modéliser conjointement les métadonnées et les données temporelles sous la forme d’un réseau Bayésien statique- dynamique hybride. Nous proposons deux algorithmes principaux associés à cette représentation: (i) un algorithme d’apprentissage qui, tout en étant optimisé pour les données industrielles, reste généralisable à toute tâche de fusion de données statiques et dynamiques, et (ii) un algorithme d’inférence permettant à la fois de résoudre les problèmes sur des données temporelles ou statiques seules et ceux nécessitant les deux types de données.
Enfin, nous discutons certaines des notions introduites au cours de la thèse, notamment des moyens de mesurer les performances de généralisation d’un réseau Bayésien à l’aide d’un score inspiré de la procédure de validation croisée tirée de l’apprentissage automatique supervisé. Nous proposons également diverses extensions des algorithmes et résultats théoriques présentés dans les chapitres précédents, et formulons des perspectives de recherche
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
Loading...