Generative models for the classification and separation of real-time sound sources
Modèles génératifs pour la classification et la séparation de sources sonores en temps-réel
Résumé
This thesis is part of the A-Volute company, an audio enhancement softwares editor. It offers a radar that
translates multi-channel audio information into visual information in real-time. This radar, although
relevant, lacks intelligence because it only analyses the audio stream in terms of energy and not in terms of
separate sound sources. The purpose of this thesis is to develop algorithms for classifying and separating
sound sources in real time. On the one hand, audio source classification aims to assign a label (e.g. voice)
to a monophonic (one label) or polyphonic (several labels) sound. The developed method uses a specific
feature, the normalized power spectrum, which is useful in both monophonic and polyphonic cases due to
its additive properties of the sound sources. This method uses a generative model that allows to derive a
decision rule based on a non-parametric estimation. The real-time constraint is achieved by pre-processing
the prototypes with a hierarchical clustering. The results are encouraging on different databases (owned
and benchmark), both in terms of accuracy and computation time, especially in the polyphonic case. On
the other hand, source separation consists in estimating the sources in terms of signal in a mixture. Two
approaches to this purpose were considered in this thesis. The first considers the signals to be found as
missing data and estimates them through a generative process and probabilistic modelling. The other
approach consists, from sound examples present in a database, in computing optimal transformations
of several examples whose combination tends towards the observed mixture. The two proposals are
complementary, each having advantages and drawbacks (computation time for the first, interpretability of
the result for the second). The experimental results seem promising and allow us to consider interesting
research perspectives for each of the proposals.
Cette thèse s’inscrit dans le cadre de l’entreprise A-Volute, éditrice de logiciels d’amélioration d’expérience
audio. Elle propose un radar qui transpose l’information sonore multi-canale en information visuelle
en temps-réel. Ce radar, bien que pertinent, manque d’intelligence car il analyse uniquement le flux
audio en terme d’énergie et non en termes de sources sonores distinctes. Le but de cette thèse est de
développer des algorithmes de classification et de séparation de sources sonores en temps-réel. D’une
part, la classification de sources sonores a pour but d’attribuer un label (son monophonique) ou plusieurs
labels (son polyphonique) à un son. La méthode développée utilise un attribut spécifique, le spectre
de puissance normalisé, utile à la fois dans le cas monophonique et polyphonique de par sa propriété
d’additivité des sources sonores. Cette méthode utilise un modèle génératif qui permet de dériver une
règle de décision basée sur une estimation non paramétrique. Le passage en temps-réel est réalisé grâce
à un pré-traitement des prototypes avec une classification hiérarchique ascendante. Les résultats sont
encourageants sur différentes bases de données (propriétaire et de comparaison), que ce soit en terme
de précision ou de temps de calcul, notamment dans le cas polyphonique. D’autre part, la séparation de
sources consiste à estimer les sources en terme de signal dans un mélange. Deux approches de séparation
ont été considérées dans la thèse. La première considère les signaux à retrouver comme des données
manquantes et à les estimer via un schéma génératif et une modélisation probabiliste. L’autre approche
consiste, à partir d’exemples sonores présent dans une base de données, à calculer des transformations
optimales de plusieurs exemples dont la combinaison tend vers le mélange observé. Les deux propositions
sont complémentaires, avec chacune des avantages et inconvénients (rapidité de calcul pour la première,
interprétabilité du résultat pour la deuxième). Les résultats expérimentaux semblent prometteurs et nous
permettent d’envisager des perspectives de recherches intéressantes pour chacune des propositions.
Origine | Fichiers produits par l'(les) auteur(s) |
---|
Loading...