Apprentissage par renforcement profond pour la classification précoce de séquences temporelles
Résumé
Dans cet article, nous traitons du problème de classification précoce de séquences temporelles. Il s’agit d’un problème de prise de décision séquentielle où l’objectif est de minimiser le temps de prédiction. Nous modélisons le problème par un Processus de Décision Markovien Partiellement Observable (POMDP). Nous proposons d’utiliser une méthode d’apprentissage par renforcement afin d’entraîner un agent à décider entre les actions de classer la séquence incomplète ou d’attendre une observation supplémentaire. Nous utilisons un algorithme existant qui approxime la politique de l’agent par un réseau de neurone profond. Nous avons adapté l’algorithme afin de pouvoir faire un apprentissage soit sur une base d’entraînement fixe, soit en ligne avec l’acquisition dynamique de nouvelles données d’entraînement. Nous proposons aussi un échantillonnage et un stockage hiérarichisé par action et par classe ainsi qu’une initialisation spécifique des épisodes d’entraînement afin de pallier le déséquilibre de la mémoire de l’agent.
Domaines
Mécanique [physics]
Fichier principal
001571a4-2222-4f06-bff3-d56d1c637143-author.pdf (401.76 Ko)
Télécharger le fichier
Origine | Fichiers produits par l'(les) auteur(s) |
---|