Learning effective video representations for action recognition
Apprendre des représentations vidéo efficaces pour la reconnaissance d'actions
Résumé
Human action recognition is an active research field with significant contributions to applications such as home-care monitoring, human-computer interaction, and game control. However, recognizing human activities in real-world videos remains challenging in learning effective video representations that have a high expressive power to represent human spatio-temporal motion, view-invariant actions, complex composable actions, etc. To address this challenge, this thesis makes three contributions towards learning such effective video representations that can be applied and evaluated on real-world human action classification and segmentation tasks by transfer-learning. The first contribution is to improve the generalizability of human skeleton motion representation models. We propose a unified framework for real-world skeleton human action recognition. The framework includes a novel skeleton model that not only effectively learns spatio-temporal features on human skeleton sequences but also generalizes across datasets. The second contribution extends the proposed framework by introducing two novel joint skeleton action generation and representation learning frameworks for different downstream tasks. The first is a self-supervised framework for learning from synthesized composable motions for skeleton-based action segmentation. The second is a View-invariant model for self-supervised skeleton action representation learning that can deal with large variations across subjects and camera viewpoints. The third contribution targets general RGB-based video action recognition. Specifically, a time-parameterized contrastive learning strategy is proposed. It captures time-aware motions to improve performance of action classification in fine-grained and human-oriented tasks. Experimental results on benchmark datasets demonstrate that the proposed approaches achieve state-of-the-art performance in action classification and segmentation tasks. The proposed frameworks improve the accuracy and interpretability of human activity recognition and provide insights into the underlying structure and dynamics of human actions in videos. Overall, this thesis contributes to the field of video understanding by proposing novel methods for skeleton-based action representation learning, and general RGB video representation learning. Such representations benefit both action classification and segmentation tasks.
La reconnaissance des actions humaines est un domaine de recherche actif avec d'importantes contributions dans des applications telles que la surveillance à domicile, l'interaction homme-machine et le contrôle de jeux. Cependant, la reconnaissance des activités humaines dans des vidéos du monde réel reste un défi en matière d'apprentissage de représentations vidéo efficaces qui ont un pouvoir expressif élevé pour représenter le mouvement spatio-temporel humain, les actions invariantes par rapport à la vue, les actions complexes composables, etc. Pour relever ce défi, cette thèse apporte trois contributions à l'apprentissage de telles représentations vidéo efficaces. Les représentations apprises peuvent être appliquées et évaluées dans des tâches de classification et de segmentation d'actions humaines du monde réel par apprentissage par transfert. La première contribution vise à améliorer la généralisabilité des modèles de représentation du mouvement du squelette humain. Nous proposons un cadre unifié pour la reconnaissance des actions humaines du monde réel basée sur le squelette. Le cadre comprend un modèle de squelette novateur qui apprend efficacement des caractéristiques spatio-temporelles sur des séquences de squelette humain et généralise également entre les ensembles de données. De plus, le cadre introduit un ensemble de données de pré-entraînement novateur à grande échelle pour améliorer les représentations du squelette et bénéficier de l'apprentissage par transfert dans les tâches ultérieures de reconnaissance d'actions. La deuxième contribution étend le cadre proposé en introduisant deux nouveaux modèles d'apprentissage de la génération d'actions et de représentation conjointe du squelette pour différentes tâches ultérieures. La première méthode est un autoencodeur invariant à la vue pour l'apprentissage de la représentation d'actions du squelette en auto-supervisé, qui peut traiter de grandes variations entre les sujets et les points de vue de la caméra. La deuxième méthode est un cadre auto-supervisé pour l'apprentissage à partir de mouvements composables synthétisés pour la segmentation des actions basées sur le squelette. La troisième contribution porte sur la reconnaissance d'actions vidéo basée sur RGB générale. Plus précisément, une stratégie d'apprentissage par contraste paramétré par le temps est proposée. Elle capture les mouvements liés au temps pour améliorer la performance de la classification d'actions dans des tâches fines et orientées vers l'humain. Les résultats expérimentaux sur des ensembles de données de référence montrent que les approches proposées atteignent des performances de pointe dans les tâches de classification et de segmentation d'actions. Les modèles proposés améliorent la précision et l'interprétabilité de la reconnaissance des activités humaines et fournissent des informations sur la structure sous-jacente et la dynamique des actions humaines dans les vidéos. En fin de compte, cette thèse contribue au domaine de la compréhension des vidéos en proposant des méthodes novatrices pour l'apprentissage de la représentation d'actions basées sur le squelette et pour l'apprentissage de la représentation de vidéos RVB générales. De telles représentations bénéficient à la fois de la classification et de la segmentation d'actions.
| Origine | Version validée par le jury (STAR) |
|---|