Increasing the expressive power of gesture-based interaction on mobile devices
Augmenter le pouvoir d'expression de l'interaction gestuelle sur les appareils mobiles
Résumé
Current mobile interfaces let users directly manipulate the objects displayed on the screen with simple stroke gestures, e.g. tap on soft buttons or menus or pinch to zoom. To access a larger command space, the users are often forced to go through long steps, making the interaction cumbersome and inefficient. More complex gestures offer a powerful way to access information quickly and to perform a command more efficiently [5]. However, they are more difficult to learn and control. Gesture typing [78] is an interesting alternative to input text: it lets users draw a gesture on soft keyboards to enter text, from the first until the final letter in a word. In this thesis, I increase the expressive power of mobile interaction by leveraging the gesture’s shape and dynamics and the screen space to produce rich output, to invoke commands, and to facilitate appropriation in different contexts of use. I design "Expressive Keyboard" that transforms the gesture variations into rich output, and demonstrate several applications in the context of textbased communication. As well, I propose "CommandBoard", a gesture keyboard that lets users efficiently select commands from a large command space while supporting the transition from novices to experts. I demonstrate different applications of "CommandBoard", each offers users a choice, based on their cognitive and motor skills, as well as the size and organization of the current command set. Altogether, these techniques give users more expressive power by leveraging human’s motor control and cognitive ability to learn, to control, and to appropriate.
Les interfaces mobiles actuelles permettent aux utilisateurs de manipuler directement les objets affichés à l’écran avec de simples gestes, par exemple cliquer sur des boutons ou des menus ou pincer pour zoomer. Pour accéder à un espace de commande plus large, les utilisateurs sont souvent forcés de passer par de nombreuses étapes, rendant l’interaction inefficace et laborieuse. Des gestes plus complexes sont un moyen puissant d’accéder rapidement à l’information ainsi que d’exécuter des commandes plus efficacement [5]. Ils sont en revanche plus difficiles à apprendre et à contrôler. Le “Gesture Typing” (saisie de texte par geste) est une alternative intéressante au texte tapé: il permet aux utilisateurs de dessiner un geste sur leur clavier virtuel pour entrer du texte, depuis la première jusqu’à la dernière lettre d’un mot. Dans cette thèse, j’augmente le pouvoir d’expression de l’interaction mobile en tirant profit de la forme et la dynamique du geste et de l’espace d'écran, pour invoquer des commandes ainsi que pour faciliter l’appropriation dans différents contextes d’usage. Je conçois "Expressive Keyboard", qui transforme la variation du geste en un résultat riche et je démontre plusieurs applications dans le contexte de la communication textuelle. Et plus, je propose "CommandBoard", un clavier gestuel qui permet aux utilisateurs de sélectionner efficacement des commandes parmi un vaste choix tout en supportant la transition entre les novices et les experts. Je démontre plusieurs applications de "CommandBoard", dont chacune offre aux utilisateurs un choix basé sur leurs compétences cognitives et moteur, ainsi que différentes tailles et organisations de l’ensemble des commandes. Ensemble, ces techniques donnent un plus grand pouvoir expressif aux utilisateurs en tirant profit de leur contrôle moteur et de leur capacité à apprendre, à contrôler et à s’approprier.
| Origine | Version validée par le jury (STAR) |
|---|
Loading...