Variable Resolution Transform-based Music Feature Extraction and their Applications for Music Information Retrieval
Extraction de caractéristiques musicales basées sur la transformation à résolution variable et leur application dans la recherche de l'information musicale
Résumé
As a major product for entertainment, there is a huge amount of digital musical content produced, broadcasted, distributed and exchanged. There is a rising demand for content-based music search services. Similarity-based music navigation is becoming crucial for enabling easy access to the evergrowing amount of digital music available to professionals and amateurs alike. This work presents new musical content descriptors and similarity measures which allow automatic musical content organizing (search by similarity, automatic playlist generating) and labeling (automatic genre classification). The work considers the problem of content descriptor building from the musical point of view in complement of low-level spectral similarity measures. Several aspects of music analysis are considered such as music signal analysis where a novel variable resolution transform is presented and described. Higher level processing touches upon the musical knowledge extraction. The thesis presents algorithms of beat detection and multiple fundamental frequency estimation which are based on the variable resolution transform. The information issued from these algorithms is then used for building musical descriptors, represented in form of histograms (novel 2D beat histogram which enables a direct tempo estimation, note succession and note profile histograms etc.). Two major music information retrieval applications, namely music genre classification and music retrieval by similarity, which use aforementioned musical features are described and evaluated in this thesis.
Dans le secteur de loisirs il y a un nombre considérable d’enregistrements numériques musicaux produits, diffusés et échangés qui favorise la demande croisante de services intelligents de recherche de musique. La navigation par contenu devient cruciale pour permettre aux professionnels et également aux amateurs d’accéder facilement aux quantités de données musicales disponibles. Ce travail présente les nouveaux descripteurs de contenu musical et mesures de similarité qui permettent l’organisation automatique de données musicales (recherche par similarité, génération automatique des playlistes) ainsi que l’étiquetage (classification automatique en genres). Ce travail s’intéresse au problème de la construction des descripteurs du point de vue musical en complément des caractéristiques spectrales de bas-niveau. Plusieurs aspects d’analyse musicale, telles que l’analyse du signal où une nouvelle technique de transformation fréquentielle à résolution variable est proposée et décrite. Le traitement de niveau plus haut touche aux aspects de l’extraction des connaissances musicales. Cette thèse présente les algorithmes de détection de coups (beats) et d’extraction de fréquences fondamentales multiples. Les deux algorithmes sont basés sur la transformation à résolution variable proposée. Les informations issues de ces algorithmes sont utilisées dans la construction des descripteurs musicaux, représentés sous forme d’histogrammes (nouvel histogramme rythmique 2D qui permet d’estimer directement le tempo, et les histogrammes de succession et profil de notes). Deux applications majeures qui utilisent les caractéristiques mentionnées sont décrits et évaluées dans cette thèse.