Prosodie expressive audio-visuelle de l'interaction personne-machine - Archive ouverte HAL Accéder directement au contenu
Article Dans Une Revue Revue des Sciences et Technologies de l'Information - Série TSI : Technique et Science Informatiques Année : 2010

Prosodie expressive audio-visuelle de l'interaction personne-machine

Résumé

Most studies concerning expressive communication concentrate on (visual / vocal) expressions of the speaker while he is talking. But information about what he is doing while he is not talking is also important. We first tried to build an empirical methodology of ethograms for information about the (non)talker's mental or affective states, that we called 'Feeling of Thinking' (FoT). Then we perceptually tested some of the identified Gestural Icons: (1) the static form of the icons and their dynamic one; (2) three presentation conditions: whole face, upper part and lower part of the face only. Our results showed the importance of the dynamism and the static for the 'FoT' perception and called additivity of the upper and lower parts of the face in terms of affective information into question. 'FoT' expression also seems to be anchored in complex multimodality. The challenge is then to understand its temporal and modal organization and vocal events role.
La plupart des études concernant la communication expressive se concentre sur les expressions (visibles et/ou audibles) du locuteur lorsqu'il parle. Pourtant, l'information qu'il envoie en dehors de son tour de parole est également importante. Nous avons d'abord construit une méthodologie empirique d'éthogrammes pour étudier les informations données par ce (non-) locuteur à propos de ses états mentaux et affectifs, ce que nous avons appelé " Feeling of Thinking " (FoT). Nous avons ensuite testé perceptivement certaines " icônes gestuelles " notées : d'une part les icônes gestuelles proprement dites, sous leur forme dynamique, mais aussi pour chacune l'extraction d'une image statique ; d'autre part trois conditions de présentation : visage entier, haut et bas du visage seul. Nos résultats montrent une importance du dynamique comme du statique pour la perception du FoT, et ils remettent en question l'additivité du haut et du bas du visage en terme d'information affective. D'autre part, l'expression du FoT semble être ancrée dans une multimodalité complexe, dont il s'agit de comprendre l'organisation temporelle et modale, ainsi que le rôle des événements vocaux.
Fichier non déposé

Dates et versions

hal-00473601 , version 1 (15-04-2010)

Identifiants

  • HAL Id : hal-00473601 , version 1

Citer

Anne Vanpé, Véronique Aubergé. Prosodie expressive audio-visuelle de l'interaction personne-machine. Revue des Sciences et Technologies de l'Information - Série TSI : Technique et Science Informatiques, 2010, 29/7 (Numéro spécial Agents Conversationels Animés), pp.880-832. ⟨hal-00473601⟩
159 Consultations
0 Téléchargements

Partager

Gmail Mastodon Facebook X LinkedIn More