Representation learning for acoustic scene analysis
Apprentissage de représentations pour l’analyse de scènes sonores
Résumé
This thesis work focuses on the computational analysis of environmental sound scenes and
events. The objective of such tasks is to automatically extract information about the context in
which a sound has been recorded. The interest for this area of research has been rapidly increasing
in the last few years leading to a constant growth in the number of works and proposed
approaches. We explore and contribute to the main families of approaches to sound scene and
event analysis, going from feature engineering to deep learning. Our work is centered at representation
learning techniques based on nonnegative matrix factorization, which are particularly suited
to analyse multi-source environments such as acoustic scenes. As a first approach, we propose a
combination of image processing features with the goal of confirming that spectrograms contain
enough information to discriminate sound scenes and events. From there, we leave the world of
feature engineering to go towards automatically learning the features. The first step we take in that
direction is to study the usefulness of matrix factorization for unsupervised feature learning techniques,
especially by relying on variants of NMF. Several of the compared approaches allow us
indeed to outperform feature engineering approaches to such tasks. Next, we propose to improve
the learned representations by introducing the TNMF model, a supervised variant of NMF. The
proposed TNMF models and algorithms are based on jointly learning nonnegative dictionaries and
classifiers by minimising a target classification cost. The last part of our work highlights the links
and the compatibility between NMF and certain deep neural network systems by proposing and
adapting neural network architectures to the use of NMF as an input representation. The proposed
models allow us to get state of the art performance on scene classification and overlapping event
detection tasks. Finally we explore the possibility of jointly learning NMF and neural networks
parameters, grouping the different stages of our systems in one optimisation problem.
Ce travail de thèse s’intéresse au problème de l’analyse des sons environnementaux avec pour
objectif d’extraire automatiquement de l’information sur le contexte dans lequel un son a été enregistré.
Ce domaine de recherche a connu un succès grandissant ces dernières années entraînant
une rapide évolution du nombre de travaux et des méthodes employées. Nos travaux explorent
et contribuent à plusieurs grandes familles d’approches pour l’analyse de scènes et événements
sonores allant de l’ingénierie de descripteurs jusqu’aux réseaux de neurones profonds. Notre travail
se focalise sur les techniques d’apprentissage de représentations par factorisation en matrices
positives (NMF), qui sont particulièrement adaptées à l’analyse d’environnements multi-sources
tels que les scènes sonores. Nous commençons par montrer que les spectrogrammes contiennent
suffisamment d’information pour discriminer les scènes sonores en proposant une combinaison
de descripteurs d’images extraits à partir des images temps-fréquence. Nous quittons ensuite le
monde de l’ingénierie de descripteurs pour aller vers un apprentissage automatique des représentations.
Nous entamons cette partie du travail en nous intéressant aux approches non-supervisées,
en particulier à l’apprentissage de descripteurs par différentes variantes de la NMF. Plusieurs des
approches proposées confirment l’intérêt de l’apprentissage de caractéristiques par NMF en obtenant
des performances supérieures aux meilleures approches par extraction de descripteurs. Nous
proposons ensuite d’améliorer les représentations apprises en introduisant le modèle TNMF, une
variante supervisée de la NMF. Les modèles et algorithmes TNMF proposés se basent sur un
apprentissage conjoint du classifieur et du dictionnaire de sorte à minimiser un coût de classification.
Dans une dernière partie, nous discutons des liens de compatibilité entre la NMF et certaines
approches par réseaux de neurones profonds. Nous proposons et adaptons des architectures de
réseaux de neurones à l’utilisation de la NMF. Les modèles introduits nous permettent d’atteindre
des performances état de l’art sur des tâches de classification de scènes et de détection d’événements
sonores. Enfin nous explorons la possibilité d’entraîner conjointement la NMF et les
paramètres du réseau, regroupant ainsi les différentes étapes de nos systèmes en un seul problème
d’optimisation.
Origine : Fichiers produits par l'(les) auteur(s)
Loading...