Têtes parlantes audiovisuelles virtuelles : données et modèles articulatoires - applications - Archive ouverte HAL Accéder directement au contenu
Article Dans Une Revue Revue de Laryngologie Otologie Rhinologie Année : 2007

Têtes parlantes audiovisuelles virtuelles : données et modèles articulatoires - applications

Résumé

In the framework of experimental phonetics, our approach to the study of speech production is based on the measurement, the analysis and the modeling of orofacial articulators such as the jaw, the face and the lips, the tongue or the velum. Therefore, we present in this article experimental techniques that allow characterising the shape and movement of speech articulators (static and dynamic MRI, computed tomodensitometry, electromagnetic articulography, video recording). We then describe the linear models of the various organs that we can elaborate from speaker-specific articulatory data. We show that these models, that exhibit a good geometrical resolution, can be controlled from articulatory data with a good temporal resolution and can thus permit the reconstruction of high quality animation of the articulators. These models, that we have integrated in a virtual talking head, can produce augmented audiovisual speech. In this framework, we have assessed the natural tongue reading capabilities of human subjects by means of audiovisual perception tests. We conclude by suggesting a number of other applications of talking heads.
Dans le cadre de la phonétique expérimentale, notre approche de l'étude de la production de parole se base sur la mesure, l'analyse, et la modélisation des organes oro-faciaux tels que la mâchoire, le visage et les lèvres, la langue ou le voile du palais. Ainsi, nous présentons dans cet article des techniques expérimentales qui permettent de caractériser la forme et le mouvement des articulateurs de la parole (IRM statique et dynamique, tomodensitographie, articulographie électromagnétique, enregistrements vidéo). Nous décrivons ensuite les modèles linéaires des différents organes dérivés des données articulatoires obtenues sur un locuteur. Nous montrons que ces modèles, qui présentent une bonne résolution géométrique, peuvent être contrôlés à partir de données articulatoires de bonne résolution temporelle et peuvent ainsi permettre de reconstruire des animations d'articulateurs de haute qualité. Ces modèles, que nous avons intégrés dans une tête parlante virtuelle, peuvent servir à produire de la parole audiovisuelle augmentée. Dans ce cadre, nous avons évalué les capacités naturelles de lecture linguale de sujets humains à l'aide de tests perceptifs audiovisuels. Nous concluons par la proposition d'un certain nombre d'autres applications des têtes parlantes.
Fichier non déposé

Dates et versions

hal-00260326 , version 1 (03-03-2008)

Identifiants

  • HAL Id : hal-00260326 , version 1

Citer

Pierre Badin, Frédéric Elisei, Gérard Bailly, Christophe Savariaux, Antoine Serrurier, et al.. Têtes parlantes audiovisuelles virtuelles : données et modèles articulatoires - applications. Revue de Laryngologie Otologie Rhinologie, 2007, 128 (5), pp.289-295. ⟨hal-00260326⟩
165 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More