Multi-person Pose Understanding in Complex Physical Interactions
Interactions Physiques Complexes et Compréhension de la Pose Multi-personnes
Résumé
Understanding the pose and motion of humans in 3D space has undergone enormous progress in recent years. The majority of studies in multi-person scenarios view individuals as separate instances, neglecting the importance of interaction information. However, in numerous everyday contexts, people always engage with one another, and it is essential to consider pose instances jointly as the pose of an individual is influenced by the poses of their interactees.In this context, this thesis aims to develop deep learning techniques to understand human pose and motion in complex interactions and leverage interaction information to enhance the performance of human pose estimation and human motion prediction.Our investigation encompasses modeling and learning interaction information, leveraging this information to refine human pose and motion estimation, and addressing the issue of insufficient 3D interacting human datasets.To overcome these challenges, we undertake the following steps:(1) we verified the feasibility of considering person interaction on the task of 3D human pose estimation from a single RGB image, by modeling and learning the interaction information with a deep network (PI-Net) on publicly available datasets (published at IEEE WACV2021);(2) we collected and released a new dataset for extreme interacting poses (ExPI dataset) to study person interaction (published at IEEE CVPR2022);(3) observing poses as temporal sequences, we study the task of collaborative motion prediction and propose a model with cross-interaction attention (XIA), using interaction information as guidance to improve multi-person motion prediction (published at IEEE CVPR2022);(4) rethinking the task of human motion prediction, we further propose a simple and effective baseline model for human motion prediction (published at IEEE WACV2023), which works not only on single-person motion prediction but also on multi-person scenarios.The code of our works is publicly available.
La compréhension de la pose et du mouvement des humains dans l'espace tri-dimensionnel a connu d'énormes progrès ces dernières années. Cependant, la majorité des études sur les scénarios multi-personnes considèrent les individus comme des instances distinctes, négligeant l'importance des informations d'interaction. Pourtant, au quotidien, les personnes interagissent beaucoup les unes avec les autres. Cette thèse vise donc à développer des techniques d'apprentissage profond pour comprendre la pose et le mouvement humain dans des scénario d'interactions complexes, en exploitant ces informations d'interaction pour améliorer les performances.Pour surmonter ces défis, nous avons entrepris les étapes suivantes :(1) Nous vérifions la possibilité de considérer l'interaction entre personnes pour l'estimation de la pose humaine en 3D à partir d'une seule image RVB, en modélisant et apprenant les informations d'interaction avec un réseau profond (PI-Net) sur des ensembles de données publiques (publié à IEEE WACV2021).(2) Nous collectons et publions un nouvel ensemble de données pour les poses avec interaction extrêmes (ExPI dataset) pour étudier l'interaction entre les personnes (publié à IEEE CVPR2022).(3) En observant les poses comme des séquences temporelles, nous étudions la prédiction de mouvement collaboratif et proposons un modèle basé sur un réseau d'attention pour l'interaction croisée (XIA), utilisant les informations d'interaction comme guide pour améliorer la prédiction de mouvement multi-personnes (publié à IEEE CVPR2022).(4) En repensant la tâche de prédiction de mouvement humain, nous proposons un modèle de base simple et efficace pour la prédiction de mouvement humain basé sur le perception mutli-couches (MLP), qui fonctionne non seulement pour la prédiction du mouvement d'une seule personne, mais aussi sur des scénarios multi-personnes (publié à IEEE WACV2023).Le code de nos travaux est disponible publiquement.
Domaines
Intelligence artificielle [cs.AI]| Origine | Fichiers produits par l'(les) auteur(s) |
|---|