Assistance to 3D interaction in Virtual Reality environments by semantic reasoning and context consciousness
Une assistance à l'interaction 3D en réalité virtuelle par un raisonnement sémantique et une conscience du contexte
Résumé
Tasks in immersive virtual environments are associated with 3D interaction techniques and devices (e.g. the selection of 3D objects with the virtual hand and a flystick). As environments and tasks become more and more complex, techniques can not remain the same for each application, even for every situations of a single application. A solution is to adapt the interaction depending on the situation in order to increase usability. These adaptations can be done manually by the designer or the user, or automatically by the system thus creating an adaptative interaction. Formalisation of such assistance needs the management of pertinent information regarding the situation. Those items of information make the context emerge from the interaction. The adaptative assistance obtained by reasoning on this information is then context-aware. Numerous possibilities can be used to build one. Our objective is a context management that preserves its high degrees of expressiveness and evolutivity while being easy to plug in. We have built a model for this issue using conceptual graphs based on an ontology and managed externally with a first order logic engine. The engine is generic and uses a knowledge base with facts and rules which can be dynamically changed. We have added a confidence notion, in order to establish a situation similarity to the knowledge base. Reactions' confidences are compared to their impacts so as to keep only the pertinent ones while avoiding user overload. Applications have tools that can be controlled by the engine. Sensors are used to extract semantic information for the context. Effectors are used to act upon the application and to have adaptations. A tools set and a knowledge base have been created for 3D interaction. Numerous steps have been added in the knowledge base to obtain good combinations and a reasoning independent from specific tools. Our first applications shows the situation understanding, including user interests and difficulties, and the triggering of pertinent assistances. An off-line study illustrates the access and evolution of the internal engine steps. The built generic semantic reasoning is expressive, understandable, extensive and modifiable dynamically. For 3D interaction, it allows universal assistances for the user that can be automatic, punctual or manual and off-line activities or conceptions analysis for the designers.
Les tâches dans les environnements virtuels immersifs sont associées à des techniques et à des dispositifs d'interaction 3D (e.g. la sélection d'objets 3D à l'aide de la main virtuelle via un flystick). Alors que les environnements et les tâches deviennent de plus en plus complexes, les techniques ne peuvent plus être les mêmes pour chaque application, voire pour les différentes situations au sein d'une application. Une solution est d'adapter l'interaction en fonction des besoins de la situation pour améliorer l'utilisabilité. Ces adaptations peuvent être effectuées manuellement par le concepteur ou l'utilisateur, ou automatiquement par le système créant ainsi une interaction adaptative. La formalisation d'une telle assistance automatique nécessite la gestion d'informations pertinentes au vu de la situation. L'ensemble de ces informations fait émerger le contexte de l'interaction. L'assistance adaptative obtenue en raisonnant à partir de ces informations est ainsi consciente du contexte. De nombreuses possibilités existent pour l'obtenir. Notre objectif est une gestion du contexte qui préserve ses degrés élevés d'expressivité et d'évolutivité tout en étant facile à intégrer. Nous proposons une modélisation de ce problème par des graphes conceptuels basés sur une ontologie et gérés par un moteur externe en logique du premier ordre. Le moteur est générique et utilise une base de connaissance contenant des faits et des règles, qui peuvent être changés dynamiquement. Nous avons intégré une notion de confiance, afin d'établir l'adéquation d'une situation à la base de connaissances. La confiance des réactions est comparée à leur impact afin de ne garder que les pertinentes tout en évitant de saturer l'utilisateur. Les applications utilisent des outils qui peuvent être contrôlés par le moteur. Des capteurs permettent d'extraire des informations sémantiques pour le contexte. Des effecteurs permettent d'agir sur l'application et d'obtenir des adaptations. Un jeu d'outils et une base de connaissance pour l'interaction 3D ont été créés. De nombreuses étapes sont introduites dans la base de connaissance pour de bonnes combinaisons et une réflexion indépendante d'outils spécifiques. Nos premières applications illustrent la compréhension de la situation, dont les intérêts et difficultés de l'utilisateur, et le déclenchement d'assistances adaptées. Une étude hors ligne montre ensuite l'accès et l'évolution des étapes du moteur selon la situation. Le raisonnement sémantique générique obtenu est alors expressif, compréhensif, extensif et modifiable dynamiquement. Pour l'interaction 3D, il permet une assistance universelle automatique, ponctuelle ou manuelle à l'utilisateur et des analyses hors-lignes d'activités ou de conceptions pour le concepteur.
Loading...