Robustesse des systèmes de reconnaissance de locuteurs basés sur DNN face aux variabilités de l'environnement - Archive ouverte HAL
Thèse Année : 2023

Robustesse des systèmes de reconnaissance de locuteurs basés sur DNN face aux variabilités de l'environnement

Robustness of DNN-based speaker recognition systems against environmental variabilities

Résumé

Speaker recognition systems authenticate the identity of speakers from their speech utterances. In order to authenticate the identity of a claimed user, it is required to obtain a fixed-length compact speaker-discriminant representation for variable-length speech utterances known as speaker embeddings. The current speaker recognition systems are using DNNs to extract speaker embeddings. Despite the relative robustness of DNN-based speaker recognition systems, their performance degrades in the presence of acoustical variabilities such as additive noise and reverberation. There are three main groups of variabilities that reduce the performance of speaker recognition systems: internal (e.g. age, emotion, and stress), external (e.g. noise, reverberation, and distance), and content (e.g. language, and accent). The main theme of this thesis is robust DNN-based text-independent speaker recognition systems against additive noise and reverberation variabilities. The impact of variabilities can be addressed at the signal level, feature level, speaker embedding extractor, speaker embedding, and scoring adaptation techniques. The scope of our work is speaker embedding extractor and speaker embedding in two well-known and successful DNN-based speaker recognition systems: TDNN, and ResNet. The first part of our work (Chapter 5) is on proposing several noise compensation DAEs (Stacked DAE, Gaussian DAE) that perform a transformation between pairs of distorted/clean speaker embeddings extracted by the TDNN system. The Stacked DAE is composed of several DAEs where each DAE receives as input the output of its predecessor DAE concatenated with the difference between noisy speaker embeddings and its predecessors' output. The noise compensation modules are tested in the case of additive noise (unseen noises, specific noise), early reverberation, and late reverberation distortions. We show a significant improvement of equal error rate in all cases ranging from 20% to 76% relative gain of equal error rate. In this part, we proposed two configurations for compensating multiple distortions. In the second part of our work (Chapter 6), the behavior of the ResNet speaker recognition system against noise and reverberation was explored and compared with the TDNN system. Also, we investigate the noise compensation on ResNet speaker embeddings in two cases: 1) compensation of artificial noise with artificial data, and 2) compensation of real noise with artificial data. The second case is the most desired scenario because it makes noise compensation affordable without having real data to train denoising techniques. The experimental results show that in the first scenario noise compensation gives significant improvement with TDNN while this improvement in ResNet is not significant. In the second scenario, we achieved a 15% improvement of EER over the VoiCes Eval challenge in both TDNN and ResNet systems. In most cases, the performance of ResNet without compensation is superior to TDNN with noise compensation. In the next part (Chapter 7), we move towards learning noise-robust speaker embedding extractors. We propose two ResNet-based speaker recognition systems that make the speaker embedding more robust against additive noise and reverberation. The goal of the proposed systems is to extract speaker embeddings in noisy environments that are close to their corresponding speaker embedding in a clean environment. The first proposed system learns the same distribution for both noisy and clean environments. The second proposed system shifts the noisy speaker embeddings towards the distribution of the best-obtained system in a clean environment. In different situations with real and artificial noises and reverberation conditions, the modified systems outperform the baseline ResNet system. The proposed systems are tested with four evaluation protocols. In the presence of artificial noise and reverberation, we achieved a 19% improvement in EER. The main advantage of the proposed systems is their efficiency against real noise and reverberation. In the presence of real noise and reverberation, we achieved a 15% improvement in EER. In the last part of our work (Chapter 8), we proposed a noise-robust self-supervised ResNet speaker recognition system based on the Barlow Twins loss function. The Barlow Twins objective function tries to optimize two criteria: First, it increases the similarity between two versions of the same signal (i.e. the clean and its augmented noisy version) to make the speaker embedding invariant to the acoustic noise. Second, it reduces the redundancy between the dimensions of the speaker embeddings which improves the overall quality of speaker embeddings. The experimental results on the Fabiole corpus show a 22% relative gain in terms of EER in clean environments and an 18% improvement in the presence of noise with low SNR and reverberation.
Les systèmes de reconnaissance du locuteur ont pour objectif d'authentifier des locuteurs à partir de leurs énoncés vocaux. Afin d'authentifier un utilisateur revendiqué, il est nécessaire d'obtenir une représentation de chaque énoncé, sous la forme d'un vecteur de taille fixe, contenant l’information permettant la séparation des locuteurs. Les systèmes de reconnaissance de locuteurs actuels utilisent des Réseaux de Neurones Profonds (RNP) pour extraire de telles représentations aussi appelées embeddings de locuteurs. Malgré la robustesse relative des systèmes de reconnaissance de locuteurs basés sur des RNP, leurs performances se dégradent en présence de variabilités acoustiques telles que du bruit additif et de la réverbération. Il existe trois principaux types de variabilités qui réduisent les performances des systèmes de reconnaissance du locuteur : interne (par exemple, l'émotion, l'âge, et le stress), externe (par exemple, le bruit, la réverbération, et la distance entre le locuteur et le microphone) et des variabilités liées au contenu (par exemple, la langue, et l'accent). Cette thèse se concentre sur la robustesse, face aux bruits additifs et aux réverbérations, des systèmes de reconnaissances du locuteur indépendante du texte, basés sur les RNP. L'impact de ces variabilités peut être traité au niveau du signal, au niveau des caractéristiques, de l'extracteur d’embeddings du locuteur, des embeddings et des techniques d'adaptation. Notre travail porte principalement sur la robustesse de l'extracteur des embeddings et sur les embeddings pour deux types de systèmes bien connus : TDNN et ResNet. La première partie de notre travail (Chapitre 5) consiste à proposer plusieurs Auto-Encodeurs de Débruitage (AED) (Pile d'AED, AED Gaussien) pour compenser le bruit au niveau des embeddings. Ces systèmes effectuent la transformation entre des embeddings, extraits avec le système TDNN, bruités et leur version propre. La Pile d'AED est composée de plusieurs AED où chaque AED reçoit en entrée la sortie de son prédécesseur concaténée avec la différence entre l'embedding du locuteur bruité et la sortie de ses prédécesseurs. Ces modules de compensation de bruit sont testés dans le cas de bruits additifs (bruits inconnues, bruits spécifiques), de distorsions de réverbération précoce et de réverbération tardive. Nos expériences montrent une amélioration significative du taux d'erreur égal (EER). Dans tous les cas, 20% à 76% de gain relatif de EER est obtenu. Dans cette partie, nous avons proposé deux configurations dans le cas d'avoir plusieurs distorsions acoustiques. Dans la deuxième partie de cette thèse (Chapitre 6), le comportement des systèmes de reconnaissance de locuteur de type ResNet face au bruit et à la réverbération est étudié et comparé au système de type TDNN. Nous étudions également la compensation du bruit sur des embeddings extraits par ResNet dans deux cas : 1) la compensation d'un bruit artificiel avec des données artificielles et 2) la compensation d'un bruit réel avec des données artificielles. Le deuxième cas est le scénario le plus intéressant car il permet d'entraîner le système de débruitage sans disposer de données réelles. Les résultats expérimentaux montrent que dans le premier scénario, la compensation du bruit donne une amélioration significative pour des embeddings de type TDNN mais pas pour des embeddings de type ResNet. Dans le deuxième scénario, nous avons obtenu une amélioration de 15 % de l'EER sur le challenge VoiCes Eval pour les systèmes TDNN et ResNet. Dans la plupart des cas, les performances de ResNet sans compensation sont supérieures au TDNN avec compensation de bruit. La partie suivante (Chapitre 7), se concentre sur l'apprentissage de systèmes d'extraction d'embeddings du locuteurs robustes au bruit. Nous proposons deux systèmes de reconnaissance du locuteur basés sur des ResNet qui rendent l'intégration du locuteur plus robuste contre le bruit additif et la réverbération. Le but des systèmes proposés est d’éviter la propagation du bruit du signal à l'embedding. De cette manière, les embeddings extraits dans des environnements bruités sont proches de leur version extraite dans un environnement non-bruité. Le premier système proposé apprend la même distribution pour les environnements bruyants et propres. La seconde propose un système qui impose aux embeddings de locuteurs pour environnement bruité de se déplacer vers la distribution du système le mieux obtenu dans l'environnement propre. Dans différentes situations avec des bruits réels et simulés et des conditions de réverbération, les systèmes modifiés surpassent le système ResNet de base. Les systèmes proposés sont testés avec quatre protocoles d'évaluation. En présence de bruit artificiel et de réverbération, nous avons obtenu une amélioration relatif de 19 % de l'EER. Le principal avantage des systèmes proposés est leur efficacité contre le bruit réel et la réverbération. En présence de bruit et de réverbération réels, nous avons obtenu une amélioration relatif de 15 % de l'EER. Dans la dernière partie de notre travail (Chapitre 8), nous avons proposé un système de reconnaissance du locuteur, de type ResNet, auto-supervisé et robuste au bruit, basé sur la fonction de perte Barlow Twins. La fonction de coût de type Barlow Twins essaie d'optimiser deux critères. Premièrement, elle augmente la similarité entre deux versions du même signal (c'est-à-dire la version propre et sa version bruitée augmentée) pour rendre les embeddings invariants au bruit acoustique. Deuxièmement, elle réduit la redondance entre les dimensions des embeddings, ce qui améliore la qualité globale des embeddings de locuteurs. Les résultats expérimentaux sur le corpus Fabiole montrent un gain relatif de 22% en termes d'EER dans des environnements propres et une amélioration de 18% en présence de bruit à faible SNR et réverbération.
Fichier principal
Vignette du fichier
Robustness of DNN-based speaker recognition systems against environmental variabilities.pdf (1.84 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-04166008 , version 1 (19-07-2023)
tel-04166008 , version 2 (08-11-2023)

Identifiants

  • HAL Id : tel-04166008 , version 1

Citer

Mohammad Mohammadamini. Robustesse des systèmes de reconnaissance de locuteurs basés sur DNN face aux variabilités de l'environnement. Computer Science [cs]. Avignon Université, 2023. English. ⟨NNT : ⟩. ⟨tel-04166008v1⟩
186 Consultations
259 Téléchargements

Partager

More