Apprentissage par renforcement profond pour la classification précoce de séquences temporelles - Archive ouverte HAL
Communication Dans Un Congrès Année : 2019

Apprentissage par renforcement profond pour la classification précoce de séquences temporelles

Résumé

Dans cet article, nous traitons du problème de classification précoce de séquences temporelles. Il s’agit d’un problème de prise de décision séquentielle où l’objectif est de minimiser le temps de prédiction. Nous modélisons le problème par un Processus de Décision Markovien Partiellement Observable (POMDP). Nous proposons d’utiliser une méthode d’apprentissage par renforcement afin d’entraîner un agent à décider entre les actions de classer la séquence incomplète ou d’attendre une observation supplémentaire. Nous utilisons un algorithme existant qui approxime la politique de l’agent par un réseau de neurone profond. Nous avons adapté l’algorithme afin de pouvoir faire un apprentissage soit sur une base d’entraînement fixe, soit en ligne avec l’acquisition dynamique de nouvelles données d’entraînement. Nous proposons aussi un échantillonnage et un stockage hiérarichisé par action et par classe ainsi qu’une initialisation spécifique des épisodes d’entraînement afin de pallier le déséquilibre de la mémoire de l’agent.
Fichier principal
Vignette du fichier
001571a4-2222-4f06-bff3-d56d1c637143-author.pdf (401.76 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-03053061 , version 1 (10-12-2020)

Identifiants

  • HAL Id : hal-03053061 , version 1

Citer

Coralie Martinez, Emmanuel Ramasso, Guillaume Perrin, Michèle Rombaut. Apprentissage par renforcement profond pour la classification précoce de séquences temporelles. GRETSI 2019 - XXVIIème Colloque francophone de traitement du signal et des images, Aug 2019, Lille, France. ⟨hal-03053061⟩
294 Consultations
828 Téléchargements

Partager

More