Dans le cadre d’une réalisation cinématographique, le projet Previz (FUI 15, www.previz.eu) vise à fournir au réalisateur le moyen de prévisualiser les effets spéciaux en temps réel en cours le tournage. Pour ce faire, il est nécessaire d’assurer une cohérence entre le virtuel et le réel, et plus particulièrement d’accorder les interactions entre les personnages réels et les personnages virtuels. Dans ce cas, il est indispensable, dans le flux vidéo de la caméra du réalisateur, d’une part de séparer le sujet du décor et d’autre part de reconstruire son mouvement. Ce processus est connu pour fonctionner parfaitement en environnement contraint c’est-à-dire en utilisant un fond vert ou au mieux un décor non changeant. Dans ces conditions, on a souvent recours à plusieurs caméras fixes et un éclairage contrôlé pour éviter les brusques variations de luminosités. Nous nous plaçons dans le cas où une seule caméra filme la scène. Nous n’apposons aucune contrainte sur le mouvement de la caméra et il n’est pas connu a priori mais la position de la caméra dans l’environnement est calculée en temps réel. Par ailleurs, les conditions de tournage ne permettent pas de faire un apprentissage a priori du décor. Cela amène deux difficultés. D’une part des éléments du décor peuvent apparaître et disparaître du champ de vision de la caméra et, d’autre part, le décor qui est statique apparaît en mouvement dans la séquence vidéo. Le travail présenté dans ce poster s’attache à séparer l’acteur du décor.