Unsupervised Image Analysis by Synthesis - Archive ouverte HAL Accéder directement au contenu
Thèse Année : 2023

Unsupervised Image Analysis by Synthesis

Analyse d'image non supervisée par synthèse

Résumé

The goal of this thesis is to develop machine learning approaches to analyze collections of images without annotations. Specifically, given a collection of images as input, the machine should discover analysis concepts related to properties of the world, such as the object class or the underlying 3D geometry, without being taught this concept via manually annotated examples. Advances in this area hold promises for industrial applications related to 3D (e.g., reconstructing a photorealistic scene with 3D actionable components for video games) where annotating examples to teach the machine is difficult, as well as more specific applications addressing a particular professional or personal need (e.g., analyzing the character evolution from 12th century documents) where spending significant effort on annotating large-scale datasets is debatable. The central idea of this dissertation is to build machines that learn to analyze an image collection by synthesizing the images in the collection. We focus on three important challenges to learning image analysis by synthesis. The first challenge is to model the variability in different images of objects reflecting the same object class. One of the most basic form of image analysis is to group images into object classes related to different concepts. A simple analysis-by-synthesis approach to this problem is the classical K-means algorithm introduced by James MacQueen in 1967, where instances of each class are approximated by the average of the class. However, this kind of framework fails when applied to images, where instances within each class demonstrate a strong variability. The second challenge is to discover elements in the images, in such a way that elements correspond to interpretable concepts like multiple objects in the image. Discovering elements in images is typically tackled with bottom-up approaches that take advantage of low-level image cues to compute meaningful image regions. An early example is the work of Brice and Fennema in 1970, which breaks the image into atomic regions of uniform gray scale then use heuristics to group them. Yet, because these low-level image cues are generally handcrafted, such approaches typically struggle when applied to real-world images. The third challenge is to recover 3D structure from 2D images. The perception of 3D from images can be traced back to the thesis of Lawrence Roberts on Blocks World in 1963. In this work, polyhedral 3D blocks are computed by detecting and matching the edges of an image depicting a simple scene made of textureless polyhedral shapes. Today, state-of-the-art methods for real-world scenes typically represent scenes through neural network weights, which are difficult to interpret and manipulate. Approaches representing scenes with meshes carry a better interpretability, yet they typically compute meshes from annotations indicating the object region and do not model the scene as a composition of 3D elements. To achieve our goal and address these challenges, we present three key contributions. The first contribution is a new conceptual approach to object class modeling. We propose to represent the class of an image, a 2D object or a 3D shape, with a prototype that is transformed using deep learning to model the different instances within the class. Specifically, we design meaningful transformations (e.g., geometric deformations or color variations) and use neural networks to predict the transformations that make the prototype similar to what is observed in a given image. We demonstrate the effectiveness of this idea not only to cluster images, but also to reconstruct 3D objects from single-view images. We obtain performances on par with the best state-of-the-art methods, which all leverage handcrafted features or annotations. The second contribution is a new way to discover elements in a collection of images. We propose to represent an image collection by a set of learnable elements composed together to synthesize the images and optimized by gradient descent. We validate this idea by discovering 2D elements related to different objects in a large image collection. Our approach has performances similar to the best concurrent methods which synthesize images with neural networks, and ours comes with better interpretability. We also demonstrate that this idea can be used to discover 3D elements related to simple primitive shapes, given as input a collection of images depicting a scene from multiple viewpoints. The third contribution is more technical and consist in a new way to compute differentiable mesh rendering. Specifically, we formulate the differentiable rendering of a 3D mesh as the alpha compositing of the mesh faces in a decreasing depth order. Compared to prior works, this formulation is key to enable us to learn 3D meshes without requiring object region annotations. In addition, it allows us to seamlessly introduce the possibility to learn transparent meshes, which we design to model a scene as a composition of a variable number of meshes.
Le but de cette thèse est de développer des approches d'intelligence artificielle (IA) pour analyser des collections d'images sans annotations. Concrètement, étant donné une collection d'images, l'IA doit découvrir des concepts d'analyse reliés aux propriétés du monde, telles que la classe d'un objet ou la géométrie 3D sous-jacente, sans que ce concept soit enseigné via des exemples manuellement annotés. Des avancées dans ce domaine sont prometteuses pour des applications industrielles reliées à la 3D (e.g., reconstruire une scène photoréaliste avec des composantes 3D manipulables pour les jeux vidéo) où annoter des exemples pour entraîner l'IA est difficile, mais aussi pour des applications plus spécifiques répondant à un besoin professionnel ou personnel particulier (e.g., analyser l'évolution des caractères dans les documents du 12ème siècle) où employer des efforts conséquents pour annoter de larges bases de données pose question. L'idée centrale de cette dissertation est de construire des IA qui apprennent l'analyse d'une collection d'images en synthétisant les images dans la collection. Nous nous concentrons sur trois problèmes importants à l'analyse d'image par synthèse. Le premier problème est de modéliser la variabilité au sein d'images différentes des objets reflétant la même classe d'objet. Une des formes les plus basiques de l'analyse d'image est de regrouper des images dans des classes d'objet reliées à des concepts différents. Une approche simple d'analyse par synthèse pour cette tâche est l'algorithme classique K-means introduit par James MacQueen en 1967, où les instances de chaque classe sont représentées par la moyenne de la classe. Cependant, de telles approches échouent lorsqu'elles sont appliquées aux images, où les instances au sein de chaque classe possèdent une grande variabilité. Le deuxième problème est de découvrir des éléments dans les images, d'une telle manière que les éléments correspondent à des concepts interprétables comme plusieurs objets dans l'image. Découvrir des éléments dans des images est typiquement résolu avec des approches "bottom-up" utilisant des représentations d'image bas niveau pour calculer des régions d'images pertinentes. Un exemple clé est le travail de Brice et Fennema en 1970, qui décompose une image en régions atomiques de gris uniforme et utilise des heuristiques pour les regrouper. Cependant, ces représentations d'image bas niveau sont souvent modélisées à la main, donc ces approches ont du mal à être appliquées aux images naturelles. Le troisième problème est de retrouver la structure 3D à partir d'images 2D. La perception de la 3D à partir d'images peut être retracée à la thèse de Lawrence Roberts sur Blocks World en 1963. Dans ce travail, des blocs 3D polyédraux sont calculés en détectant et alignant les contours d'une image illustrant une scène simple composée de formes polyédrales. Aujourd'hui, l'état de l'art représente typiquement les scènes avec les poids d'un réseau de neurones, qui sont difficilement interprétables et manipulables. Les approches représentant les scènes avec des meshes ont une meilleure interprétabilité, mais elles calculent les meshes à partir d'annotations indiquant les régions de l'objet et ne modélisent pas une scène comme une composition d'éléments 3D. Pour atteindre notre but et résoudre ces problèmes, nous présentons trois contributions clés. La première contribution est une nouvelle approche conceptuelle à la modélisation de classe d'objets. Nous proposons de représenter la classe d'une image, d'un objet 2D ou d'une forme 3D, avec un prototype qui est transformé par apprentissage profond pour modéliser les différentes instances au sein de la classe. Plus spécifiquement, nous introduisons des transformations concrètes (e.g., des déformations géométriques ou des variations de couleurs) et utilisons des réseaux de neurones pour prédire les transformations qui rendent le prototype similaire à ce qui est observé dans une image donnée. Nous démontrons l'efficacité de cette idée non seulement pour regrouper des images, mais aussi pour reconstruire des objets 3D à partir d'une seule image. Nous obtenons des performances égales aux meilleures méthodes, qui utilisent toutes des représentations d'image ad-hoc ou des annotations. La deuxième contribution est une nouvelle manière de découvrir des éléments dans une collection d'images. Nous proposons de représenter une collection d'images par un ensemble d'éléments apprenables, composés pour synthétiser les images et optimisés par descente de gradient. Nous validons cette idée en découvrant des éléments 2D reliés à des objets différents dans une grande collection d'images. Notre approche a des performances semblables aux meilleures méthodes qui synthétisent les images par réseaux de neurones, et est plus interprétable. Nous démontrons aussi que cette idée peut être utilisée pour découvrir des éléments 3D reliés à des formes primitives simples étant donné une collection d'images illustrant une scène via différents points de vue. La troisième contribution est plus technique et consiste en une nouvelle approche pour calculer le rendu différentiable d'un mesh. Plus spécifiquement, nous formulons le rendu différentiable d'un mesh comme l'alpha composition des faces du mesh par ordre de profondeur décroissante. Comparée aux travaux précédents, cette formulation est clé pour apprendre des meshes sans utiliser des annotations représentant les régions d'objet. En outre, cette formulation nous permet d'introduire la possibilité d'apprendre des meshes transparents, que nous utilisons pour modéliser une scène comme une composition d'un nombre variable de meshes.
Fichier principal
Vignette du fichier
phd_monnier_2402.pdf (34.21 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-04475696 , version 1 (23-02-2024)

Identifiants

  • HAL Id : tel-04475696 , version 1

Citer

Tom Monnier. Unsupervised Image Analysis by Synthesis. Computer Vision and Pattern Recognition [cs.CV]. École des Ponts ParisTech, 2023. English. ⟨NNT : ⟩. ⟨tel-04475696⟩
47 Consultations
4 Téléchargements

Partager

Gmail Facebook X LinkedIn More