Doing more without more : Data fusion in human-computer interaction
Faire mieux avec ce que l'on a déjà : la fusion de données en interaction Homme-Machine
Résumé
The increasing variety of tasks which require human-computer interfaces result in the production of new and improved sensing devices and therefore causes the obsolescence of older technologies. In a world of limited resources, the production rate of new interaction devices is unsustainable. Sustainable design calls for re-appropriation of existing materials, so we need to design interfaces that are modular, re-usable, yet that allow new interaction techniques. We believe that combining the strength of different input devices through data fusion can enable powerful interactions while extending the lifespan of electronic materials. As the complexity of sensors increases, their combination presents new challenges and opportunities, notably in terms of computational power and user behavior, which we explore in this document. We first explain how previous work conducted in different sub-domains of human-computer interaction fit into the data fusion perspective. From this perspective, we take all aspects of input devices into consideration to define the framework to which this thesis belongs. The first step consists of handling input devices to provide meaningful information to be fused, so we demonstrate how to go from a complex data source such as a camera stream, to a small, descriptive bit of information that enables lightweight fusion. Then, we separate the benefits of multi-sensor data fusion for interaction spaces into two categories; enriching the interaction space and extending the interaction space. Our contribution to the enriched spaces mainly focuses on musical interfaces where we propose a movement sonification application on a mobile device and a visual feedback mechanism, all by using a combination sensors. Further, we contribute a virtually extended surface for large display interactions using a hand-held touchscreen and examine the user's appropriation to the new interaction space.
La variété croissante des tâches qui nécessitent des interfaces homme-machine aboutit à la production des nouveaux capteurs améliorés et provoque donc l'obsolescence des technologies plus anciennes. Dans un monde aux ressources limitées, le taux de production de nouveaux appareils homme-machine ne semble pas viable. La conception durable nécessite une réappropriation des matériaux existants, nous devons donc concevoir des interfaces modulaires, réutilisables, mais qui permettent de nouvelles techniques d'interaction. Nous pensons que la combinaison des puissances de différents périphériques grâce à la fusion de données peut permettre des interactions puissantes tout en prolongeant la durée de vie des matériaux électroniques. À mesure que la complexité des capteurs augmente, leur combinaison présente de nouveaux défis et opportunités, notamment en termes de puissance de calcul et de comportement des utilisateurs, que nous explorons dans ce document. Nous expliquons d'abord comment les travaux antérieurs menés dans différents sous-domaines d'interaction homme-machine s'intègrent dans la perspective de la fusion de données. Dans cette perspective, nous prenons en compte tous les aspects des dispositifs d'entrée pour définir le cadre auquel appartient cette thèse. La première étape consiste à manipuler les périphériques d'entrée pour fournir des informations significatives à fusionner. Nous montrons donc comment passer d'une source de données complexe, telle qu'un flux de caméra, à une simple information descriptive qui permet une fusion légère. Ensuite, nous séparons les avantages de la fusion de données multi-capteurs pour les espaces d'interaction en deux catégories; enrichir l'espace d'interaction et étendre l'espace d'interaction. Notre contribution aux espaces enrichis se concentre principalement sur les interfaces musicales où nous proposons une application de sonification de mouvement sur un appareil mobile et un mécanisme de retour d'information visuelle, le tout en utilisant une combinaison de capteurs. De plus, nous contribuons à une surface virtuellement étendue pour les interactions sur grand écran à l'aide d'un écran tactile portable et examinons l'appropriation de l'utilisateur dans ce nouvel espace d'interaction.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|