Direct Manipulation for Musical Interfaces Based on Visual Software: Design and Evaluation
Manipulation directe pour les interfaces musicales basées sur des logiciels visuels : conception et évaluation
Résumé
With the popularization of mobile computing and software-distribution platforms like the Apple Store and Google Play, a plethora of remarkable software-based musical interfaces with dynamic visual feedback are being designed today. Recent examples such as the Loopy, the Borderlands, the Ocarina illustrate that powerful visual interfaces are capable of captivating amateur and expert musicians alike by making music manipulation more direct and straightforward.
However, while successful examples are available, effectively designing such direct interfaces remains challenging, typically proceeding “as more art than science”. For example, unlike acoustic instruments, sound production is physically decoupled from input controls, yielding infinite possi- bilities for mapping. Moreover, increasing ease-of-use for novices can lead to toy applications that disinterest experts. Finally, analyzing successful crafts remain unusual, and little music interface research is being carried to better understand these interfaces.
This thesis attempts to understand these musical interfaces better, aiming at providing empir- ical evidence to inform their design and evaluation. Borrowing from human-computer interaction research, I hypothesize that one effective strategy concerns adopting an interaction model known as direct manipulation–characterized by continuous visual representation of the object of interest, physical actions to manipulate the visual representations, rapid visual feedback, and incremental and easily reversible actions.
To investigate this hypothesis, I report exploratory case studies where direct manipulation is designed and evaluated in three specific contexts of music tools: a) live looping tools; b) tools for creating interactive artistic installations; and c) music authoring tools. As a result, I introduce three novel software music tools: Voice Reaping Machine; ZenStates; and StateSynth. Finally, I present a set of interface design strategies and evaluation approaches for effectively designing direct manipulation in musical interfaces based on visuals.
Grâce à la popularisation des plateformes d’informatique mobile et de distribution de logiciels, telles que l’Apple Store et Google Play, de nombreuses interfaces musicales basées sur des logiciels avec retour visuel sont en cours de conception. Des exemples récents tels que Loopy, Borderlands et Ocarina montrent que de puissantes interfaces logicielles visuelles sont capables de captiver autant les musiciens amateurs que les experts, tout en fournissant une manipulation musicale plus directe.
Bien que certains exemples soient disponibles, il demeure difficile de conceptualiser de telles in- terfaces directes, puisque l’accent est porté davantage sur “l’art plutôt que la science”. Par exemple, contrairement aux instruments acoustiques, la production du son est physiquement découplée des commandes d’entrée, offrant ainsi des possibilités infinies de mappage. De plus, la facilité d’accès et d’utilisation grandissante pour les novices peut conduire à des applications ressemblant plutôt à des jouets, ce qui désintéresse les experts. Enfin, l’analyse des interfaces musicales existantes reste inhabituelle et peu de recherches sont menées afin de mieux comprendre ces interfaces.
Cette thèse a pour objectif de mieux comprendre ces interfaces musicales dans le but de fournir des bases empiriques qui informeront les principes entourant leur conception et leur évaluation. Tout en me basant sur les recherches conduites dans le domaine de l’interaction personne-machine, je propose l’hypothèse qu’une stratégie efficace consiste à adopter un modèle d’interaction appelé manipulation directe (MD) caractérisé par une représentation visuelle continue de l’objet en ques- tion, des actions physiques pour manipuler les représentations visuelles, un retour visuel rapide, et des actions incrémentales facilement réversibles.
Afin d’étudier cette hypothèse, je présente des études de cas exploratoires au sein desquelles la MD est conçue et évaluée selon trois contextes spécifiques reliés à des outils musicaux: a) outils de bouclage en temps réel; b) outils de création d’installations artistiques interactives; et c) outils de création musicale. En conséquence, je présente trois nouveaux outils logiciels de musique: le Voice Reaping Machine; le ZenStates; et le StateSynth. Enfin, je présente un ensemble de stratégies de conception d’interface et d’approches d’évaluation permettant de conceptualiser efficacement la MD pour les interfaces musicales logicielles.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|