Optimal Transport for Image Processing
Transport Optimal pour le Traitement d’Images
Résumé
Optimal Transport is a well developed mathematical theory that defines robust metrics between probability distributions. The computation of optimal displacements between densities through the associated transport map makes this theory mainstream in several applicative fields.
For image processing applications, the transport map can for instance be used to compute geodesics between images or to transfer characteristics of one image to another. In this context, it is of major interest to preserve the nature of the observed objects, in order to synthesize images that are physically and visually plausible.
In this document, generalized Optimal Transport distances including relaxation and regularization are considered to improve the modeling of image processing problems. New models and algorithms within the continuous and discrete formulations of Optimal Transport are presented.
With the continuous setting, the integration of physical regularization of the transport plan makes possible the interpolation of ocean images containing complex structures.
In the discrete setting, the regularization of the transport plan is considered for color transfer between images. Convex and non-convex models are proposed to define automatic methods that adapt the proportion of colors required to synthesize visually plausible images. These methods are extended to the computation of barycenters to deal with the color normalization of multiple images.
Finally, the entropy regularization of discrete Optimal Transport is used for image segmentation. A fast and convex model is designed to segment images, while respecting global color distribution constraints.
Le Transport Optimal est une théorie mathématique très développée permettant de définir des métriques robustes entre distributions de probabilité. Le calcul du déplacement optimal entre densités par le plan de transport associé rend cette théorie attractive du point de vue applicatif.
En traitement d'images, le plan de transport peut par exemple être utilisé pour calculer des géodésiques entre images ou encore transférer des caractéristiques d'une image vers une autre. Dans ce contexte, il est important de préserver le nature des objets observés afin de synthétiser des images physiquement et visuellement plausibles.
Dans ce document, des distances de Transport Optimal généralisées sont considérées pour améliorer la modélisation de problèmes de traitement d'images.De nouveaux modèles et algorithmes sont présentés pour les formulations continues et discrètes du Transport Optimal.
Dans le cas continu, l'intégration de régularisation physique du plan de transport permet alors d'interpoler des images d'océan contenant des structures complexes.
Dans la formulation discrète, la régularisation du plan de transport est considérée pour le transfert de couleurs entre images. Des modèles convexes et non-convexes sont proposés pour définir des méthodes automatiques adaptant la proportion de couleur nécéssaire pour un transfert visuellement plausible. Ces méthodes sont également étendues aux barycentres afin d'aborder le problème de normalisation de couleurs entre plus de deux images.
La régularisation entropique du Transport Optimal discret est finalement utilisée pour la segmentation d'image. Un modèle convexe et rapide est proposé pour segmenter des images tout en respectant des contraintes globales sur les distributions de couleurs.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
Loading...