L'analyse du langage et de la parole repose sur l'étude de domaines variés allant de la phonétique à la pragmatique, tout en prenant en compte les modalités de leur expression. Pour la linguistique moderne, si chaque domaine dispose d'un certain niveau d'autonomie, il ne peut être expliqué que dans son interaction avec les autres : l'information linguistique est le produit de la convergence de multiples sources d'information, information aussi contrainte par l'environnement où le message a été produit. L'analyse linguistique ne peut donc se faire qu'en tenant compte des différentes modalités d'expression de l'information. Mais à ce jour, aucune théorie ne traite de manière intégrée des informations issues des différents niveaux de la chaîne linguistique, qui est par essence un contenu perceptuel multimodal. Bien que de nombreux projets d'annotation se soient développés ces dernières années, des problèmes subsistent: les ressources multimodales annotées n'existent quasiment pas pour le français ; les standards d'annotation ne répondent pas complètement aux besoins et les outils ne sont pas adaptés. Or, le développement de ce type de ressources est utile à plusieurs titres,entre autres la description des informations de chacun des domaines et de leurs interactions. Nous présentons le Corpus of Interactional Data (CID), corpus audio et vidéo comptant actuellement 8h de dilogue en français, les annotations à l'étude (phonétique, prosodique, morphosyntaxique, mimo-gestuelle) et leur état de réalisation.