Les flux d’informations multimodales dépassent maintenant les capacités des systèmes d’information en terme d’analyse par leur contenu. Le projet DYNI consiste à élaborer un cadre théorique permettant une analyse rationnelle de ces flux de haute dimension. Notre approche unifie différents niveaux de traitements dynamiques et d’abstractions. Elle couvre le traitement de la parole (flux acoustiques), de la vidéo, de collections d’images ou de textes, plus généralement de données hétérogènes (XML, flux RSS,…). Sa force repose sur sa concentration de compétences interdisciplinaires, en traitement du signal, transcription automatique, et conception de modèles souples pour la recherche d’information, interrogation et transformation des données. Plus généralement, DYNI s’attaque au fossé sémantique : nous recherchons des solutions génériques, indépendantes des données, en abordant ce verrou scientifique depuis le traitement bas niveau du signal, jusqu’à la représentation de son contenu abstrait.

DYNI s’appuie sur les formalismes des bases de données multidimentionnelles, des langages de représentations et de manipulations, et des théories stochastiques de l’estimation et du filtrage dynamique. Il s’articule autour de deux axes se renforçant mutuellement (Fig 1).


Figure 1 : l’axe 1 traite l’information en dynamique forward, alors que l’axe 2 met en interaction différents processus suivant une dynamique intrinsèque forward-backward.

L’axe 1 concerne l’intégration de données temporelles, ou plus généralement l’intégration forward de flux comme la parole, la vidéo, les données biologiques, RSS web, etc. Nous proposons des modèles qui détectent et classifient ces événements multimodaux. Le filtrage des données à différents niveaux de représentation aboutit à des manipulations de données XML de haut niveau comme les entités nommées.

• Projets : ces recherches s’inscrivent dans les projets ANR ROSE et OTIM ; ainsi que dans un contrat avec le CTSN, les Douanes, et l’industriel Chrisar Software soutenu par la région PACA (pôle mer) PIMC. Un dernier contrat concerne des recherches sur l’interprétation temps-réel des comportements et regards de client dans un espace de vente.

• Nous évaluons régulièrement nos modèles au travers de campagnes internationales en vidéo : TRECVID 2008-09 (Nat. Instit. Stand. of Tech), consortium IRIM, ou ImageClef ROBOT 2009 ; ou sur des données acoustiques : ESTER (Evaluation Système de Transcription Enrichie d’Emission Radiophoniques – DGA IRISA), compétitions internationales en pistage de cétacés par acoustique passive (DLMMAP 2005, 2007 et 2009 - dépôt brevet international).

2) L’axe 2 concerne l’intégration dynamique de concept, notamment depuis des données statiques. Il s’agit de modéliser les interactions entre différents niveaux de représentation et de traitements. Nous pensons que cette analyse dynamique intrinsèque mène vers des systèmes d’information multi-échelle approfondissant l’analyse sémantique de l’état de l’art.

• Projets : ANR en modèlisation de l’apprentissage de la lecture et ANR en annotation automatique d’images du web. Une thèse MNRT sur la problèmatique du Cotraining, en collaboration avec le LIF.

• Evaluations : participation à la compétition ImageClef Photo-Annotation en 2008 et 2009 (top 10), la tâche Diversity de ImageClef 2008, ImagEval (piloté par le CEA) (top3), et INEX.


En conclusion, les activités de l’axe 1 de DYNI amèneront à l’élaboration de nouvelles méthodes unifiées d’intégration et manipulation souples d’informations dynamiques multimodales. Ces mêmes méthodes se verront étendues à l’extraction dynamique de concept (éventuellement intrinsèquement statique), ce qui constitue l’axe 2.

L’ensemble de ces activités est unifié par une approche système d’information et la manipulation de données XML. Nous pensons que cette stratégie est un point fort pour combler le fossé sémantique et concevoir des systèmes d’information génériques à fort pouvoir d’expression sémantique.