Complex networks for image and video Analysis - Archive ouverte HAL
Thèse Année : 2019

Réseaux Complexes pour l’Analyse des Images et des Vidéos

Complex networks for image and video Analysis

Youssef Mourchid

Résumé

Visual data analysis is always a problem of interest in different fields of application (surveillance, automobile, security, environment, medicine, etc.). In this work, we focus on the development of methodologies for analyzing visual data, including images and videos (movies). We were interested in developing tools dedicated to the analysis of visual content from images and videos (movies). In this thesis, we address two issues, image segmentation and analysis of video stories, especially movie stories. Several techniques were developed in the literature for visual content analysis, which almost suffers from certain limitations depending on the processed data, precision, robustness, semantics, etc. Beyond these proposed methods, it has been shown that complex network approaches are a very good tool to address the two mentioned issues. In this context, this work is divided into two parts: The first part aims to propose a framework based on graph approaches, in particular, community detection algorithms to address the problem of image segmentation. As for the second part, it proposes a multi-layer model based on graphs to analyze movie stories, this model exploits the script of the movie to build interactions between the different entities that constitute the movie story. An extension of this model was proposed next, using the textual information (script and subtitles) and the visual information (multimedia content, facial recognition, dense captioning) of the movie. These informations can extract a richer structure of the movie. Graph properties were exploited next, to analyze the movie story (eg. topological properties, centralities, community structure).
L'analyse des données visuelles est toujours une problématique d'intérêt dans différents domaines d'application (surveillance, automobile, sécurité, environnement, médecine,). Dans le cadre du travail réalisé, nous nous sommes intéressés au développement des méthodologies pour analyser les données visuelles, notamment, les images et les vidéos (films). Dans ce travail de thèse, on s'adresse à deux problématiques de la littérature, la segmentation pour les images et l'analyse des histoires pour les vidéos, plus précisément les films. Différentes techniques ont été développées dans la littérature pour l'analyse du contenu visuel, mais qui souffrent de certaines limites selon la nature des données traitées, la précision, la robustesse, la sémantique, etc. En dehors de ces méthodes, il s'est avéré que les approches fondées sur les réseaux complexes sont un très bon outil pour résoudre les deux problématiques mentionnées. Dans ce sens, le travail de cette thèse est divisé en deux parties : La première partie vise à proposer un framework qui est basé sur les approches graphes, notamment les algorithmes de détection des communautés, pour résoudre le problème de la segmentation des images. Quant à la seconde partie, elle propose un modèle multi-couches basé sur les graphes pour analyser les histoires des films. Ce modèle exploite le script du film pour construire les liens entre les différentes entités qui composent l'histoire du film. Une extension de ce modèle a été proposée en utilisant les informations textuelles (script et sous-titres) et les informations visuelles (contenu multimédia, reconnaissance faciale, détection des captions) du film. Ces informations permettent d'extraire une structure plus riche du film. Les propriétés des graphes construits ont été exploitées par la suite pour analyser l'histoire du film (ex. propriétés topologiques, centralités, la structure communautaire).
Fichier principal
Vignette du fichier
2019_Youssef_Mourchid.pdf (18.02 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-03165179 , version 1 (10-03-2021)

Identifiants

  • HAL Id : tel-03165179 , version 1

Citer

Youssef Mourchid. Complex networks for image and video Analysis. Traitement du signal et de l'image [eess.SP]. Université Mohammed V de Rabat (Maroc), 2019. Français. ⟨NNT : ⟩. ⟨tel-03165179⟩
103 Consultations
37 Téléchargements

Partager

More