Semantic Video Model for Description, Detection and Retrieval of Visual Events
Résumé
This thesis attempts to realize three advances in the domain of semantic multimedia, which can be defined as the application of semantic (Web) techniques to multimedia resources. The first contribution concerns the generation of high-level (semantic) descriptions: indeed as the extraction of low-level multimedia features was largely studied and solved in the image analysis community, the automatic generation of high-level descriptions from low level features is still an open problem. In this thesis, a high level description language for defining events and objects from low-level features is proposed as an attempt to narrow this "semantic gap". The second contribution concerns the reasoning for semantic multimedia. Indeed as semantic web languages have been conceived for the description of all kinds of resources, they may lack special features for tackling and reasoning on multimedia resources, that contain especially spatial and temporal information, and whose interpretation often contains a part of uncertainty. The second contribution of this thesis addresses this problem by proposing a semantic language for videos based on fuzzy conceptual graphs, and by providing the corresponding reasoning procedures. The third contribution concerns multimedia databases and the indexing and retrieval techniques for semantic multimedia. Indeed a query language for semantic multimedia should allow a user to express spatiotemporal constraints as well as the semantic constraints, and a query engine should be able to process theses constraints together. The third contribution in this thesis consists in proposing a datalog-like query language for expressing spatiotemporal and semantic queries, and a constraint solving and reasoning procedure for answering to these queries
Cette thèse a pour but de réaliser trois avancés sur le domaine de la multimédia sémantique, qui peut être définie comme l'application des techniques du sémantique web aux ressources multimédia. La première contribution concerne la génération de descriptions haut-niveau (sémantiques); en effet, alors que l'extraction de caractéristiques de bas niveau a été largement étudiée par la communauté du traitement d'images, la génération automatique de descriptions de haut-niveau est encore un problème ouvert. Dans cette thèse, un langage de descriptions de haut-niveau, qui permet la définition d'événements et d'objets à partir de caractéristiques de bas-niveau, est proposé comme une tentative pour résoudre le problème du "semantic gap". La deuxième contribution concerne le résonnement dans la multimédia sémantique. En effet, bien que les langages du sémantique web aient été conçus pour la description de tous les types de ressources, ces langages ne sont pas aussi performent quand il s'agit de raisonner sur la multimédia sémantique. Celle-ci contient des informations spatiotemporelles dont l'interprétation nécessite souvent la résolution de l'incertitude. La deuxième contribution de cette thèse traite ce problème en proposant un langage sémantique pour la description des vidéos basé sur les graphs conceptuels flous, mais aussi en proposant les procédures de raisonnement correspondantes. La troisième contribution porte sur l'indexation et la recherche sémantique dans les bases de données multimédia. En effet un langage de requêtes pour la multimédia sémantique doit permettre à l'utilisateur d'exprimer facilement les contraintes spatiotemporelles aussi bien que les contraintes sémantiques. Par ailleurs, le moteur de requêtes doit être capable de résoudre l'ensemble de ses requêtes. La troisième contribution de cette thèse propose un langage de requête issu des bases de données déductives pour l'expression de requêtes spatiotemporelles et sémantiques, mais aussi les méthodes de raisonnement nécessaires pour répondre à ces requêtes