En théorie de la Décision, dans le cadre de la planification, l'approche factorisée des Processus Décisionnels Markoviens (FMDP) a débouché sur des algorithmes efficaces utilisant les arbres de décision (SVI, SPI) ou les diagrammes de décision algébriques (SPUDD). Pouvoir apprendre de tels modèles factorisés d'environnements stochastiques offre un avantage certain lors de la recherche de politique optimale. Des approches telles que l'architecture SDYNA proposent d'intégrer l'apprentissage et la planification. Toutefois, l'état de l'art pour l'apprentissage incrémental, pour la planification théorique de la décision structurée ou pour l'apprentissage par renforcement requièrent que le problème soit caractérisé à l'aide de variables binaires et/ou utilise des structures de données améliorables en termes de compacité. Magnan & al. propose l'utilisation de diagrammes de décision multimodaux (MDDs) comme structures de données plus efficaces et décrit des algorithmes de planification dédiés à ces structures. Cet article s'intéresse à l'apprentissage de tels modèles factorisés. Son principal résultat est l'algorithme IMDDI d'apprentissage en-ligne de MDDs qui offre des améliorations significatives de compacité du modèle et de temps d'apprentissage. De plus, aucune connaissance a priori sur le nombre de modalités des variables aléatoires n'est requise -- propriété intéressante pour un algorithme d'apprentissage en-ligne qui le démarque également de l'état de l'art. Enfin, cet algorithme permet une toute nouvelle instanciation de l'architecture SDYNA exploitant les MDDs : l'instance SPIMDDI.