Parameters tracking of geometrical models from multiview video sequences
Suivi de paramètres de modèle géométrique à partir de séquences vidéo multi-vues
Résumé
Various applications, such as augmented reality, are based on the need to follow the movements or changes of real objects in video sequences. We present in this thesis a method for monitoring articulated subjects in videos. The proposed method is based on the use of a generic model and estimation of its parameters from CGI. In our problem, we have several calibrated cameras filming the subject as well as a representation of the subject as a parameterized geometrical model. With a renderer, we can generate synthetic images of the subject corresponding to each view. It is then to find the parameters that generate the most accurate images from the actual images, considered as reference images. This involves the introduction of a measure of multiview gap between synthetic and real image and the search for the optimum of this measure over model parameters. The gap defined measure is based on a comparison between dense images, particularly with a strong resistance to occlusions. The search for the optimum measurement is based on the principle of the simplex, adapted to our situation. For each time we seek the values of the corresponding parameters, and we spread them as initial values for the next moment. We tested our method on synthetic sequences to demonstrate its theoretical validity. We also studied the conditions affecting tracking accuracy. Tests on real sequences show the ability to work on concrete examples.
Diverses applications, telle que la réalité augmentée ont en commun le besoin de suivre les mouvements ou les évolutions d'objets réels dans les séquences vidéo. Nous présentons dans cette thèse une méthode de suivi de sujets articulés dans des vidéos. La méthode proposée est basée sur l'utilisation d'un modèle générique et l'estimation de ses paramètres à partir d'images de synthèse. Dans notre problématique, nous disposons de plusieurs caméras calibrées filmant le sujet ainsi que d'une représentation du sujet sous forme d'un modèle géométrique paramétré. Nous appelons paramètre tout attribut variable du modèle qui peut être anthropométrique, spatial, de couleur, de texture. . . Grâce à un moteur de rendu, nous pouvons générer des images de synthèse du sujet correspondant à chaque vue. Il s'agit alors de rechercher les paramètres générant les images les plus fidèles par rapport aux images réelles, considérées comme images de références. Cela implique l'introduction d'une mesure d'écart multi-vues entre image de synthèse et réelle, ainsi que la recherche de l'optimum de cette mesure par rapport aux paramètres. La mesure d'écart définie se fonde sur une comparaison dense entre images, offrant en particulier une forte résistance aux occultations. La recherche de l'optimum de la mesure s'appuie sur le principe du simplexe, adapté à notre situation. Pour chaque instant t des séquences vidéo nous cherchons les valeurs des paramètres correspondants, et nous propageons celles-ci comme valeurs initiales pour l'instant suivant. Nous avons testé notre méthode sur des séquences de synthèse pour démontrer sa validité théorique. Nous avons également étudié les conditions influant sur la précision du suivi. Des tests sur des séquences réelles montrent sa capacité à travailler sur des exemples concrets.
