Extraction d’un modèle articulatoire à partir d’une analyse tri-directionnelle de cinéradiographies d’un locuteur - Archive ouverte HAL Accéder directement au contenu
Article Dans Une Revue Revue des Nouvelles Technologies de l'Information Année : 2016

Extraction d’un modèle articulatoire à partir d’une analyse tri-directionnelle de cinéradiographies d’un locuteur

Résumé

Nous expérimentons ici un processus d’identification des sons de la parole à partir d’images, et non d’enregistrements sonores comme habituellement réalisé. Il s’agit de l’analyse de séquences cinéradiographiques d’une personne prononçant plusieurs phrases. Des difficultés se présentent. La première, technique, est que ces données proviennent d’images annotées en plusieurs lieux, temps, et de manière semi-automatique ou manuelle. La deuxième, représentationnelle, est que les mouvements des articulateurs pendant la parole (langue, mâchoire, etc.) se situent dans un espace-temps complexe du fait des interdépendances mécaniques multiples et dynamiques. Le modèle articulatoire le plus connu est celui de Maeda (1990), obtenu à partir d’Analyses en Composantes Principales faites sur les tableaux de coordonnées des points des articulateurs d’un locuteur en train de parler. Nous proposons ici une analyse tridirectionnelle du même type de données, après leur transformation en une suite de tableaux de distances. Nous validons notre modèle par la prédiction des sons prononcés, qui s’avère presque aussi bonne que celle du modèle acoustique, et même meilleure quand on prend en compte la coarticulation.
For several reasons it is difficult to analyze the sequences of radiographs of a person talking. The first is technical: these data are images annotated in several places, times, in a semiautomatic or manual way. The second is representational: the movements of the articulators during speech (tongue, jaw, etc.) are complex to describe because of multiple mechanical and dynamic interdependencies. When speaking, a speaker sets in motion a complex set of articulators: the jaw which opens more or less, the tongue which takes many shapes and positions, the lips that allow him to leave the air escaping more or less abruptly, etc.. The best-known articulary model is the one of Maeda (1990), derived from Principal Component Analysis made on arrays of coordinates of points of the articulators of a speaker talking. We propose a 3-way analysis of the same data type, after converting tables into distances. We validate our model by predicting spoken sounds, which prediction proved almost as good as the acoustic model, and even better when coarticulation is taken into account.
Fichier non déposé

Dates et versions

hal-01346987 , version 1 (20-07-2016)

Licence

Copyright (Tous droits réservés)

Identifiants

  • HAL Id : hal-01346987 , version 1

Citer

Martine Cadot, Yves Laprie. Extraction d’un modèle articulatoire à partir d’une analyse tri-directionnelle de cinéradiographies d’un locuteur. Revue des Nouvelles Technologies de l'Information, 2016, Fouille de Données Complexes (RNTI-E-31), pp.73-92. ⟨hal-01346987⟩
125 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More