IMDDI et SPIMDDI : apprentissage incrémental de diagrammes de décisions pour une architecture SDyna - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2015

IMDDI et SPIMDDI : apprentissage incrémental de diagrammes de décisions pour une architecture SDyna

Jean-Christophe Magnan
  • Fonction : Auteur
  • PersonId : 971578
Pierre-Henri Wuillemin

Résumé

En théorie de la Décision, dans le cadre de la planification, l'approche factorisée des Processus Décisionnels Markoviens (FMDP) a débouché sur des algorithmes efficaces utilisant les arbres de décision (SVI, SPI) ou les diagrammes de décision algébriques (SPUDD). Pouvoir apprendre de tels modèles factorisés d'environnements stochastiques offre un avantage certain lors de la recherche de politique optimale. Des approches telles que l'architecture SDYNA proposent d'intégrer l'apprentissage et la planification. Toutefois, l'état de l'art pour l'apprentissage incrémental, pour la planification théorique de la décision structurée ou pour l'apprentissage par renforcement requièrent que le problème soit caractérisé à l'aide de variables binaires et/ou utilise des structures de données améliorables en termes de compacité. Magnan & al. propose l'utilisation de diagrammes de décision multimodaux (MDDs) comme structures de données plus efficaces et décrit des algorithmes de planification dédiés à ces structures. Cet article s'intéresse à l'apprentissage de tels modèles factorisés. Son principal résultat est l'algorithme IMDDI d'apprentissage en-ligne de MDDs qui offre des améliorations significatives de compacité du modèle et de temps d'apprentissage. De plus, aucune connaissance a priori sur le nombre de modalités des variables aléatoires n'est requise -- propriété intéressante pour un algorithme d'apprentissage en-ligne qui le démarque également de l'état de l'art. Enfin, cet algorithme permet une toute nouvelle instanciation de l'architecture SDYNA exploitant les MDDs : l'instance SPIMDDI.
Fichier non déposé

Dates et versions

hal-01340601 , version 1 (01-07-2016)

Identifiants

  • HAL Id : hal-01340601 , version 1

Citer

Jean-Christophe Magnan, Pierre-Henri Wuillemin. IMDDI et SPIMDDI : apprentissage incrémental de diagrammes de décisions pour une architecture SDyna. JFPDA, Jun 2015, Rennes, France. ⟨hal-01340601⟩
103 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More