Interaction techniques for object selection and facial expression control in virtual reality
Techniques d’interaction pour la sélection d’objets et le contrôle d’expressions faciales en réalité virtuelle
Résumé
Virtual reality technologies are evolving fast with the development of headsets that have increased display resolutions and motion tracking capabilities. These headsets are associated with controllers with many degrees of freedom that offer the possibility to improve and develop new interaction techniques. Indeed, interaction in these immersive environments is often more laborious than in reality. In this thesis, we focused on the improvement of the selection task and the development of techniques dedicated to the control of facial expressions.For the 3D object selection task, the virtual hand and Raycasting are the most frequently used techniques. Although Raycasting allows selecting objects out of reach, the selection is more difficult when the objects are far away, small or partially occluded. We have highlighted how to reduce the selection errors of Raycasting by using an adapted filtering.We also developed RayCursor, an improvement of Raycasting that relies on adding a cursor that the user can move along the ray. This cursor allows Raycasting to be combined with proximity-based pointing facilitation techniques. We studied a set of visual feedbacks adapted to the visualization and selection of nearby targets. A series of controlled experiments highlighted the benefits of RayCursor over a set of reference techniques from the literature.For the control of facial expressions, we have proposed a set of non-isomorphic techniques to overcome the limitations of the isomorphic techniques proposed in the literature, which rely on the detection or estimation of the users' real expressions to transpose them to their avatar. It is difficult to control precisely expressions and it is impossible for users to control an expression different from the expression on their face. Our techniques are based on the decomposition of facial expression control into subtasks that we formalize in a design space: facial expression selection, intensity and duration control. Controlled experiments allowed us to isolate the most relevant techniques to perform each of the subtasks, in order to design a technique that we call EmoRayE, that was validated in an ecological experiment.
Les technologies de réalité virtuelle connaissent un essor sans précédent par le développement de casques qui possèdent des résolutions d'affichage et des capacités de suivi du mouvement inédits. Ces casques sont associés à des contrôleurs dotés de nombreux degrés de liberté qui offrent la possibilité d'améliorer et de développer de nouvelles techniques d'interaction. L'interaction dans ces environnements immersifs reste en effet bien souvent plus laborieuse que dans la réalité. Nous nous sommes concentrés dans cette thèse sur l'amélioration de la tâche de sélection et le développement de techniques dédiées au contrôle d'expressions faciales.Pour la tâche de sélection d’objets 3D, la main virtuelle et le Raycasting sont les techniques les plus fréquemment utilisées. Bien que Raycasting permette de sélectionner des objets hors de portée, la sélection est d'autant plus difficile que les objets sont éloignés, petits ou partiellement occultés. Nous avons mis en évidence comment réduire les erreurs de sélection de Raycasting par l'utilisation d'un filtrage adapté. Nous avons également développé RayCursor, une amélioration de Raycasting qui repose sur l'ajout d'un curseur que l’utilisateur peut déplacer le long du rayon. Ce curseur permet de combiner Raycasting avec des techniques de facilitation du pointage par proximité. Nous avons étudié un ensemble de retours visuels adaptés à la visualisation et la sélection de cibles à proximité. Une série d'expériences contrôlées a permis de mettre en évidence les bénéfices de RayCursor par rapport à un ensemble de techniques de référence de la littérature.Pour le contrôle d'expressions faciales, nous avons proposé un ensemble de techniques non isomophiques pour dépasser les limitations des techniques isomorphiques proposées dans la littérature, qui reposent sur la détection ou l'estimation de l'expression réelle de l'utilisateur pour la transposer à son avatar. Le contrôle précis d'expressions est difficile et il est impossible à l'utilisateur de contrôler une expression autre que celle de son visage. Les techniques que nous proposons reposent sur une décomposition du contrôle d'expressions faciales en sous-tâches que nous formalisons dans un espace de conception : la sélection de l’expression faciale, le contrôle de son intensité et de sa durée. Des expériences contrôlées ont permis d'isoler les techniques les plus pertinentes pour réaliser chacune des sous-tâches, afin de concevoir une technique que nous appelons EmoRayE. Celle-ci a été validée dans une expérience écologique.
| Origine | Version validée par le jury (STAR) |
|---|