Object Detection in Dynamic Background
Détection d’objets dans un fond dynamique
Résumé
Moving object detection is one of the main challenges in many video monitoring applications.In this thesis, we address the difficult problem that consists in object segmentationwhen background moves permanently. Such situations occur when the backgroundcontains water flow, smoke or flames, snowfall, rainfall etc. Object detection in movingbackground was not studied much in the literature so far. Video backgrounds studied inthe literature are often composed of static scenes or only contain a small portion of movingregions (for example, fluttering leaves or brightness changes). The main difficultywhen we study such situations is to differentiate the objects movements and the backgroundmovements that may be almost similar. For example, an object in river moves atthe same speed as water. Therefore, motion-based techniques of the literature, relyingon displacements vectors in the scene, may fail to discriminate objects from the background,thus generating a lot of false detections. In this complex context, we proposesome solutions for object detection.Object segmentation can be based on different criteria including color, texture, shapeand motion. We propose various methods taking into account one or more of thesecriteria.We first work on the specific context of wood detection in rivers. It is a part ofDADEC project (Détection Automatique de Débris pour l’Aide à l’Etude des Crues)in collaboration with geographers. We propose two approaches for wood detection: anaïve method and the probabilistic image model. The naïve approach is based on binarydecisions based on object color and motion, whereas the probabilistic image model useswood intensity distribution with pixel motion. Such detection methods are used fortracking and counting pieces of wood in rivers.Secondly, we consider a context in which we suppose a priori knowledge about objectmotion is available. Hence, we propose to model and incorporate this knowledgeinto the detection process. We show that combining this prior motion knowledge withclassical background model improves object detection rate.Finally, drawing our inspiration from methods used for 2D texture representation,we propose to model moving backgrounds using a frequency-based approach. Moreprecisely, the model takes into account the spatial neighborhoods of pixels but also theirtemporal neighborhoods. We apply local Fourier transform on the obtained regions in order to extract spatiotemporal color patterns.We apply our methods on multiple videos, including river videos under DADECproject, image sequences from the DynTex video database, several synthetic videos andsome of our own made videos. We compare our object detection results with the existingmethods for real and synthetic videos quantitatively as well as qualitatively
La détection et la reconnaissance d’objets dans des vidéos numériques est l’un des principauxchallenges dans de nombreuses applications de vidéo surveillance. Dans le cadrede cette thèse, nous nous sommes attaqué au problème difficile de la segmentationd’objets dans des vidéos dont le fond est en mouvement permanent. Il s’agit de situationsqui se produisent par exemple lorsque l’on filme des cours d’eau, ou le ciel,ou encore une scène contenant de la fumée, de la pluie, etc. Il s’agit d’un sujet assezpeu étudié dans la littérature car très souvent les scènes traitées sont plutôt statiqueset seules quelques parties bougent, telles que les feuillages par exemple, ou les seulsmouvements sont des changements de luminosité. La principale difficulté dans le cadredes scènes dont le fond est en mouvement est de différencier le mouvement de l’objet dumouvement du fond qui peuvent parfois être très similaires. En effet, par exemple, unobjet dans une rivière peut se déplacer à la même allure que l’eau. Les algorithmes dela littérature extrayant des champs de déplacement échouent alors et ceux basés sur desmodélisations de fond génèrent de très nombreuses erreurs. C’est donc dans ce cadrecompliqué que nous avons tenté d’apporter des solutions.La segmentation d’objets pouvant se baser sur différents critères : couleur, texture,forme, mouvement, nous avons proposé différentes méthodes prenant en compte un ouplusieurs de ces critères.Dans un premier temps, nous avons travaillé dans un contexte bien précis qui étaitcelui de la détection des bois morts dans des rivières. Ce problème nous a été apportépar des géographes avec qui nous avons collaboré dans le cadre du projet DADEC (DétectionAutomatique de Débris pour l’Aide à l’Etude des Crues). Dans ce cadre, nousavons proposé deux méthodes l’une dite " naïve " basée sur la couleur des objets à détecteret sur leur mouvement et l’autre, basée sur une approche probabiliste mettant enoeuvre une modélisation de la couleur de l’objet et également basée sur leur déplacement.Nous avons proposé une méthode pour le comptage des bois morts en utilisantles résultats des segmentations.Dans un deuxième temps, supposant la connaissance a priori du mouvement des objets,dans un contexte quelconque, nous avons proposé un modèle de mouvement del’objet et avons montré que la prise en compte de cet a priori de mouvement permettaitd’améliorer nettement les résultats des segmentations obtenus par les principaux algorithmes de modélisation de fond que l’on trouve dans la littérature.Enfin, dans un troisième temps, en s’inspirant de méthodes utilisées pour caractériserdes textures 2D, nous avons proposé un modèle de fond basé sur une approche fréquentielle.Plus précisément, le modèle prend en compte non seulement le voisinage spatiald’un pixel mais également le voisinage temporel de ce dernier. Nous avons appliquéla transformée de Fourier locale au voisinage spatiotemporel d’un pixel pour construireun modèle de fond.Nous avons appliqué nos méthodes sur plusieurs vidéos, notamment les vidéos duprojet DADEC, les vidéos de la base DynTex, des vidéos synthétiques et des vidéos quenous avons faites.