Discovering Acoustic Units from Speech: A Bayesian Approach
Découverte d'unités acoustiques dans la parole : une approche Bayésienne
Résumé
Dès leur plus jeune age, les enfants montrent une capacité innée d’apprendre les structures linguistiques du signal de la parole, bien avant de savoir lire et écrire. A l’inverse, les systèmes de reconnaissance vocale nécessitent de large ensembles de données préalablement transcrits pour atteindre un faible taux d’erreur. Le champ de recherche relativement récent de « l’apprentissage de la parole de manière non-supervisée » s’efforce de donner aux machines des capacités d’apprentissages similaires. Cette thèse s’inscrit dans cet effort de recherche et se concentre sur le
problème d’apprendre un ensemble d’unités acoustiques pour une langue à partir enregistrements audios non-transcrits. Plus particulièrement, nous explorons le potentiel de « l’inférence bayésienne » pour cette tâche.
Dans une première partie, nous revisitons le modèle bayésien non-paramétrique de l’état de l’art et nous proposons un algorithme d’apprentissage efficace d’inférence variationnelle bayésienne. Notre approche se base sur la construction du processus de Dirichlet à partir du « découpage de bâton » qui permet de représenter le modèle comme un modèle de Markov caché de type « boucle phonétique ». Avec ce modèle et l’utilisation de l’approximation des champs moyens de la distribution à posteriori, l’apprentissage s’apparente à un algorithme d’espérance-maximisation. Les
résultats montrent que cette approche obtient un meilleur clustering que le modèle original tout en étant bien plus rapide.
Dans une deuxième partie, nous nous attelons à la tâche de correctement définir une distribution a priori sur les possibles unités acoustiques. Pour arriver à nos fins, nous présentons le concept de modèle de sous-espaces généralisés, un cadre théorique qui nous permet de définir des distributions plongées dans des variétés de petites dimensions. Avec cet outil, nous apprenons un sous-espace phonétique – un continuum de plongement phonétique – à partir d‘enregistrements transcrits dans plusieurs langues. Ensuite, le sous-espace est utilisé pour contraindre notre système pour apprendre
des unités acoustiques qui sont similaires aux phones des autres langues. Les résultats
expérimentaux montrent que cette approche améliore de manière significative la qualité du clustering et la la précision de la segmentation.
Finalement, nous améliorons notre système d’extraction d’unités acoustiques en utilisant un processus de Dirichlet hiérarchique au lieu d’un processus de Dirichlet classique. En faisant cela, nous introduisons un modèle le langue phonotactique bayésien dans notre système. Cette approche capture de manière plus fine la structure phonétique de la langue cible et, par voie de conséquence, améliore le clustering du signal de la parole. Aussi, afin de mieux exploiter le modèle de langue phonotactique, nous proposons un algorithme d’inférence variationnelle bayésienne qui peut pondérer le rôle du modèle acoustique et du modèle de langue pendant l’apprentissage.
From an early age, infants show an innate ability to infer linguistic structures from
the speech signal long before they learn to read and write. In contrast, modern speech
recognition systems require large collections of transcribed data to achieve a low error rate. The relatively recent field of Unsupervised Speech Learning has been dedicated to endow machines with a similar ability. As a part of this ongoing effort, this thesis focuses on the problem of discovering a set of acoustic units from a language given untranscribed audio recordings. Particularly, we explore the potential of Bayesian inference to address this problem.
First, we revisit the state-of-the-art non-parametric Bayesian model for the task of acoustic unit discovery and derive a fast and efficient Variational Bayes inference algorithm. Our approach relies on the stick-breaking construction of the Dirichlet Process which allows expressing the model as a Hidden Markov Model-based phone-loop. With this model and a suitable mean-field approximation of the variational posterior, the inference is made with an efficient iterative algorithm similar to the Expectation-Maximization scheme. Experiments show that this approach performs a better clustering than the original model while being orders of magnitude faster.
Secondly, we address the problem of defining a meaningful a priori distribution over
the potential acoustic units. To do so, we introduce the Generalized Subspace Model, a
theoretical framework that allows defining distributions over low-dimensional manifolds
in high-dimensional parameter space. Using this tool, we learn a phonetic subspace—
a continuum of phone embeddings—from several languages with transcribed recordings.
Then, this phonetic subspace is used to constrain our system to discover acoustic units that are similar to phones from other languages. Experimental results show that this approach significantly improves the clustering quality as well as the segmentation accuracy of the acoustic unit discovery system.
Finally, we enhance our acoustic units discovery model by using a Hierarchical Dirichlet
Process prior instead of the simple Dirichlet Process. By doing so, we introduce a Bayesian bigram phonotactic language model to the acoustic unit discovery system. This approach captures more accurately the phonetic structure of the target language and consequently helps the clustering of the speech signal. Also, to fully exploit the benefits of the phonotactic language model, we derive a modified Variational Bayes algorithm that can balance the preponderance of the role of the acoustic and language model during inference.