Communication Dans Un Congrès Année : 2024

DiVR: incorporating context from diverse VR scenes for human trajectory prediction

DiVR : incorporation du contexte de scènes variées en réalité virtuelle pour la prédiction des trajectoires humaines

Résumé

Virtual environments provide a rich and controlled setting for collecting detailed data on human behavior, offering unique opportunities for predicting human trajectories in dynamic scenes. However, most existing approaches have overlooked the potential of these environments, focusing instead on static contexts without considering userspecific factors. Employing the CREATTIVE3D dataset, our work models trajectories recorded in virtual reality (VR) scenes for diverse situations including road-crossing tasks with user interactions and simulated visual impairments. We propose Diverse Context VR Human Motion Prediction (DiVR), a cross-modal transformer based on the Perceiver architecture that integrates both static and dynamic scene context using a heterogeneous graph convolution network. We conduct extensive experiments comparing DiVR against existing architectures including MLP, LSTM, and transformers with gaze and point cloud context. Additionally, we also stress test our model's generalizability across different users, tasks, and scenes. Results show that DiVR achieves higher accuracy and adaptability compared to other models and to static graphs. This work highlights the advantages of using VR datasets for context-aware human trajectory modeling, with potential applications in enhancing user experiences in the metaverse. Our source code is publicly available at https://gitlab.inria.fr/ffrancog/creattive3d-divr-model.

Les environnements virtuels offrent un cadre riche et contrôlé pour collecter des données détaillées sur le comportement humain, ouvrant des opportunités uniques pour la prédiction des trajectoires humaines dans des scènes dynamiques. Cependant, la plupart des approches existantes ont négligé le potentiel de ces environnements, se concentrant plutôt sur des contextes statiques sans prendre en compte les facteurs spécifiques aux utilisateurs. En utilisant le jeu de données CREATTIVE3D, notre travail modélise des trajectoires enregistrées dans des scènes de réalité virtuelle (VR) pour des situations variées, notamment des tâches de traversée de route avec des interactions utilisateur et des simulations de déficiences visuelles. Nous proposons *Diverse Context VR Human Motion Prediction* (DiVR), un transformeur intermodal basé sur l'architecture Perceiver, qui intègre à la fois le contexte statique et dynamique des scènes grâce à un réseau de convolution hétérogène sur graphes. Nous menons des expériences approfondies en comparant DiVR à des architectures existantes telles que MLP, LSTM et transformeurs, en utilisant des contextes de regard et de nuage de points. De plus, nous testons la robustesse de notre modèle en termes de généralisation à différents utilisateurs, tâches et scènes. Les résultats montrent que DiVR offre une meilleure précision et adaptabilité par rapport aux autres modèles et aux graphes statiques. Ce travail met en évidence les avantages d'utiliser des ensembles de données VR pour la modélisation contextuelle des trajectoires humaines, avec des applications potentielles pour améliorer les expériences utilisateur dans le métavers. Notre code source est disponible publiquement à l'adresse suivante : [https://gitlab.inria.fr/ffrancog/creattive3d-divr-model](https://gitlab.inria.fr/ffrancog/creattive3d-divr-model).

Fichier principal
Vignette du fichier
CV4Metaverse_full_paper_camera_ready.pdf (2.35 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Licence

Dates et versions

hal-04771825 , version 1 (12-11-2024)

Licence

Identifiants

  • HAL Id : hal-04771825 , version 1

Citer

Franz Franco Gallo, Hui-Yin Wu, Lucile Sassatelli. DiVR: incorporating context from diverse VR scenes for human trajectory prediction. CV4Metaverse workshop - 3rd Computer Vision for Metaverse Workshop / Co-located at ECCV 2024 - European Conference on Computer Vision, Sep 2024, Milano, Italy. ⟨hal-04771825⟩
318 Consultations
257 Téléchargements

Partager

  • More