Extraction d’un modèle articulatoire à partir d’une analyse tri-directionnelle de cinéradiographies d’un locuteur
Abstract
Nous expérimentons ici un processus d’identification des sons de la
parole à partir d’images, et non d’enregistrements sonores comme habituellement
réalisé. Il s’agit de l’analyse de séquences cinéradiographiques d’une
personne prononçant plusieurs phrases. Des difficultés se présentent. La première,
technique, est que ces données proviennent d’images annotées en plusieurs
lieux, temps, et de manière semi-automatique ou manuelle. La deuxième,
représentationnelle, est que les mouvements des articulateurs pendant la parole
(langue, mâchoire, etc.) se situent dans un espace-temps complexe du fait des
interdépendances mécaniques multiples et dynamiques. Le modèle articulatoire
le plus connu est celui de Maeda (1990), obtenu à partir d’Analyses en Composantes
Principales faites sur les tableaux de coordonnées des points des articulateurs
d’un locuteur en train de parler. Nous proposons ici une analyse tridirectionnelle
du même type de données, après leur transformation en une suite
de tableaux de distances. Nous validons notre modèle par la prédiction des sons
prononcés, qui s’avère presque aussi bonne que celle du modèle acoustique, et
même meilleure quand on prend en compte la coarticulation.
For several reasons it is difficult to analyze the sequences of radiographs of a person talking.
The first is technical: these data are images annotated in several places, times, in a semiautomatic
or manual way. The second is representational: the movements of the articulators
during speech (tongue, jaw, etc.) are complex to describe because of multiple mechanical and
dynamic interdependencies. When speaking, a speaker sets in motion a complex set of articulators:
the jaw which opens more or less, the tongue which takes many shapes and positions,
the lips that allow him to leave the air escaping more or less abruptly, etc.. The best-known articulary
model is the one of Maeda (1990), derived from Principal Component Analysis made
on arrays of coordinates of points of the articulators of a speaker talking. We propose a 3-way
analysis of the same data type, after converting tables into distances. We validate our model
by predicting spoken sounds, which prediction proved almost as good as the acoustic model,
and even better when coarticulation is taken into account.