Du corpus vidéo à l'agent expressif: Utilisation des différents niveaux de représentation multimodale et émotionnelle
Résumé
Relations between emotions and multimodal behaviors have mostly been studied inthe case of acted basic emotions. In this paper, we describe two experiments studying theserelations with a copy-synthesis approach. We start from video clips of TV interviewsincluding real-life behaviors. A protocol and a coding scheme have been defined forannotating these clips at several levels (context, emotion, multimodality). The firstexperiment enabled to manually identify the levels of representation required for replayingthe annotated behaviors by an expressive agent. The second experiment involved automaticextraction of information from the multimodal annotations. Such an approach enables tostudy the complex relations between emotion and multimodal behaviors.
Les relations entre émotions et indices multimodaux ont été peu étudiées dans lecadre d’émotions autres que les émotions de base jouées par des acteurs. Dans cet articlenous présentons deux expériences permettant d’étudier ces relations par une démarched’analyse-synthèse. Nous partons d’interviews télévisées montrant des comportementsémotionnels naturels. Un protocole et un schéma de codage ont été définis pour les annoter àplusieurs niveaux (contexte, émotion, multimodalité). La première expérience manuelle apermis d’identifier les niveaux de représentation qui interviennent pour faire rejouer cescomportements par un agent expressif. La deuxième expérience fait intervenir une extractionautomatique à partir des annotations multimodales. Une telle démarche permet d’apporterdes connaissances sur les relations complexes entre émotions et multimodalité.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|