paris8.fr RÉSUMÉ. Les relations entre émotions et indices multimodaux ont été peu étudiées dans le cadre d'émotions autres que les émotions de base jouées par des acteurs. Dans cet article nous présentons deux expériences permettant d'étudier ces relations par une démarche d'analyse-synthèse. Nous partons d'interviews télévisées montrant des comportements émotionnels naturels. Un protocole et un schéma de codage ont été définis pour les annoter à plusieurs niveaux (contexte, émotion, multimodalité). La première expérience manuelle a permis d'identifier les niveaux de représentation qui interviennent pour faire rejouer ces comportements par un agent expressif. La deuxième expérience fait intervenir une extraction automatique à partir des annotations multimodales. Une telle démarche permet d'apporter des connaissances sur les relations complexes entre émotions et multimodalité. ABSTRACT. Relations between emotions and multimodal behaviors have mostly been studied in the case of acted basic emotions. In this paper, we describe two experiments studying these relations with a copy-synthesis approach. We start from video clips of TV interviews including real-life behaviors. A protocol and a coding scheme have been defined for annotating these clips at several levels (context, emotion, multimodality). The first experiment enabled to manually identify the levels of representation required for replaying the annotated behaviors by an expressive agent. The second experiment involved automatic extraction of information from the multimodal annotations. Such an approach enables to study the complex relations between emotion and multimodal behaviors.