On Several Mathematical and Data-Driven Models for Image and Video Editing, Synthesis and Analysis
Résumé
In this document, I present several mathematical and data-based models for image editing, synthesis and analysis. Firstly, I look at low-rank models used for background/foreground separation in videos. This model separates a video into the sum of a low-rank background and a sparse foreground, via an optimisation problem. I propose two algorithms using this model: firstly, a multi-temporal foreground separation algorithm and secondly a video segmentation method to identify regions where this model applies well. I then present a model to synthesis silver-halide film grain texture in digital images, based on stochastic geometry. This model is physically realistic and is able to synthesise grain at any output resolution, which gives high quality results. I also present an approximation to this model using Gaussian textures, with the goal of speeding up the synthesis algorithm.
Finally, I discuss four works concerning deep generative models. The first is a mathematical analysis of how autoencoders, a type of deep learning model, can encode and decode simple geometric shapes. Secondly, I present a feed-forward neural network which edits the age of facial images. I then present an algorithm which uses a pre-trained deep generative model to edit general attributes of facial images. The method learns to navigate in the latent space of the generative model to achieve editing of the desired attribute. Finally, I present a ``PCA-Autoencoder'', which imitates the behaviour of the Principal Component Analysis (PCA) method, via a progressive increase of the latent space size, and a carefully chosen correlation loss function. I show how this can be used to carry out unsupervised editing of attributes in images.
Dans ce document, je présente plusieurs modèles mathématiques, dont certains fondés sur des données, pour l'édition, la synthèse et l'analyse d'images. Tout d'abord, j'examine les modèles de rang faible utilisés pour la séparation arrière-plan/avant-plan dans les vidéos. Ce modèle sépare une vidéo en la somme d'un arrière-plan de rang faible et d'un avant-plan parsimonieux, via un problème d'optimisation. Je propose deux algorithmes utilisant ce modèle : premièrement, un algorithme de séparation d'avant-plan multi-temporel et deuxièmement une méthode de segmentation vidéo pour identifier les régions où ce modèle s'applique bien. Je présente ensuite un modèle de synthèse de texture de grain de film argentique dans les images numériques, fondé sur la géométrie stochastique. Ce modèle est physiquement réaliste et est capable de synthétiser le grain à n'importe quelle résolution d'image en sortie, ce qui donne des résultats de haute qualité. Je présente également une approximation de ce modèle à l'aide de textures gaussiennes, dans le but d'accélérer l'algorithme de synthèse. Enfin, je présente quatre travaux concernant les modèles génératifs profonds. Le premier est une analyse mathématique de la façon dont les auto-encodeurs, un type de modèle d'apprentissage profond, peuvent encoder et décoder des formes géométriques simples. Dans un second temps, je présente un réseau de neurones feed-forward qui édite l'âge des images de visages. Je présente ensuite un algorithme qui utilise un modèle génératif profond pré-entraîné pour éditer les attributs généraux des images de visages. Cette approche apprend à naviguer dans l'espace latent du modèle génératif afin de réaliser l'édition de l'attribut souhaité. Enfin, je présente un ``Autoencodeur-ACP'', qui imite le comportement de la méthode d'Analyse en Composantes Principales (ACP), via une augmentation progressive de la taille de l'espace latent, et une fonction de perte de corrélation bien choisie. Je montre comment cela peut être utilisé pour effectuer une édition non-supervisée d'attributs dans les images.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|