A Framework for Computer-Aided Composition of Space, Gesture, and Sound. Conception, Design, and Applications
Un système informatique de composition de l'espace, du geste, et du son. Conception, design, et applications.
Résumé
Computer-Aided Composition (CAC) research aims to provide composers with specialized programming languages and interfaces to simulate processes of composition in an interactive approach referred to as “compositional modelling”. Although the increased performance and availability of computer resources over the past decade has led to a widening of technologies used in musical practice, in particular in the fields of spatial audio, physical computing and sound synthesis, these developments have remained mostly isolated from the domain of CAC and are therefore not accounted for in the corresponding models and applications.
This dissertation proposes a further evolution of CAC systems by integrating spatial-, sound-, and gesture-related data with the objective of making these technologies available and responsive to formal music composition. We present conception, design, and applications of an original software framework implemented as three libraries for the visual computer-aided composition environment OpenMusic.
The library OMPrisma allows for the design of spatialization processes of arbitrary complexity and relate them to high-level musical processes and materials in a compositional framework. Beyond conventional concepts we introduce a novel paradigm which extends the notion of sound source spatialization from pre-existing sound objects to the spatial micro-structure of sound, referred to as spatial sound synthesis.
The library OM-Geste proposes solutions for integrating physical gestures as materials into compositional formalisms. Coding, representation and processing of gestures as multi- dimensional signals are discussed and design guidelines are presented. A novel approach is introduced which allows to extend the scope of mapping to high-level programs for creating musical objects of arbitrary scale using hybrid specifications. Two complementary examples for validation with the use of real-world gesture recordings are described.
The library OM-Pursuit introduces a dictionary-based analysis/synthesis system which provides abstract representations of sound targets that can be integrated and manipulated within symbolic compositional processes. This model constitutes a granular counterpart to the prevalent sinusoidal representations and allows for renewed conceptions of sound and compositional directions. A professional application of the software for a composition for computer-controlled piano and electronics is described.
The presented software libraries have been designed as a coherent framework based on the same design concepts, interfaces and programming tools. All of the presented developments are freely available open-source projects which have been validated in research and professional artistic productions, and are now being taught as part of computer music curricula in different universities and research institutions.
La recherche en composition assistée par ordinateur (CAO) a pour but d’offrir aux compositeurs des langages de programmation et des interfaces spécialisés permettant de simuler des processus compositionnels dans un cadre interactif et basé sur la notion de modélisation. Bien que la disponibilité et le niveau de performance des ressources informatiques se soient développés depuis les dernières décennies et aient conduit à une prolifération de l’utilisation des technologies dans la pratique musicale, en particulier dans les domaines de l’audio spatialisé, du contrˆole gestuel et de la synthèse sonore, ces développements sont demeurés relativement isolés du domaine de la CAO et n’ont donc pas été pris en compte dans les modèles et applications relatifs à celle-ci.
Cette thèse propose un développement des systèmes de composition assistée par ordinateur en y intégrant des outils concernant les données d’ordre spatial, gestuel et sonore, dans l’objectif de rendre ces technologies disponibles et réactives dans le contexte de la composition écrite ou symbolique. Nous présentons la conception, le design et des applications d’une structure logicielle (software framework) intégrée sous la forme de trois bibliothèques pour l’environnement de composition assistée par ordinateur OpenMusic.
La bibliothèque OM-Prisma permet la spécification de processus de spatialisation de complexité arbitraire et les relie à d’autres processus et matériaux musicaux de haut niveau dans un environnement compositionnel. Nous introduisons un nouveau paradigme au-delà des concepts conventionnels, qui dépasse la spatialisation d’objets sonores individuels pour atteindre la microstructure du son et ainsi réaliser une synthèse du son spatialisée.
La bibliothèque OM-Geste propose des solutions pour intégrer les gestes physiques comme matériaux dans les formalisations musicales. La description, la représentation et le traitement des gestes en tant que signaux multidimensionnels y sont discutés et nos pistes de solutions y sont présentées. Un système est introduit et permet de concevoir le mapping comme un programme pour la création d’objets musicaux d’échelle et de résolutions arbitraires en utilisant des spécifications hybrides. En guise de validation, deux exemples complémentaires, incluant des enregistrements de gestes réels y sont décrits.
La bibliothèque OM-Pursuit introduit un système d’analyse/synthèse fondé sur des dictionnaires qui fournit des représentations abstraites de son-cible qui sont susceptibles d’être intégrées et manipulées par des procédés compositionnels dans le domaine symbolique.
Ce modèle constitue une contrepartie granulaire aux modèles sinuso ̈ıdaux dominants et permet le renouvellement des manière de concevoir le son et la composition. Une application professionnelle de ce logiciel dans le cadre de la composition d’une œuvre pour piano contrôlée par ordinateur et dispositif électronique y est décrite.
Les bibliothèques logicielles présentées dans cette thèse ont été conc ̧ues comme une structure cohérente à partir des mêmes concepts, interfaces et structures de données. Tous les développements exposés sont en accès libre ; ce sont des projets open-source et ils ont été validés au sein de productions artistiques professionnelles, de projets de recherche et font maintenant partie des programmes d’études de musique électronique dans différentes universités et institutions de recherche.