Patch-based models for image post-production
Résumé
The objective of images and videos post-production is to enhance visual quality, add details or restore old data. This document presents different patch-based post-production methods based on the self-similarity principle. After a brief summary of my research activities since 2008, a review of metrics used for computing the similarity between patches is presented. Their applications to image completion (inpainting) and grayscale image colorization are then discussed.
Patch-based methods are one-path greedy algorithms: pixels are processed one after the others without being further modified. This property may lead to the well-known growing garbage problem. Another category of methods used to solve post-production problems, is made of geometric methods. They rely on the diffusion of colors obtained by minimizing functionals or solving PDE. Their iterative optimization lead to smooth results but fail at reconstructing small details and textures. This document describes several patch-based functionals designed for inpainting and colorization, that intent to combine both categories of methods. The corresponding results are generally realistic, with continuous contours and fine textures reconstruction.
La post-production d'images et de vidéos a pour objectif l'amélioration de la qualité visuelle des images, la restauration de données anciennes, l'ajout de détails, etc. Ce document présente différentes approches de post-production, dites approches par patchs, reposant sur la notion d'auto-similarité dans les images. %Une attention particulière est donnée à la colorisation d'images en niveaux de gris et à la complétion (inpainting) d'images.
Après un court résumé de mes activités de recherche depuis 2008, une étude des métriques utilisées pour calculer la similarité entre patchs est présentée. Leur utilisation pour la colorisation d'images en niveaux de gris et la complétion (inpainting) d'images est ensuite discutée.
Les méthodes par patchs reposent sur des algorithmes gloutons non itératifs. Les pixels sont traités successivement une seule fois dans un ordre pré-défini ce qui peut entrainer une propagation des erreurs. Une autre catégorie de méthodes permettant de résoudre les problèmes de post-production regroupe les approches dites géométriques. Elles sont basées sur la diffusion des couleurs obtenues en minimisant des fonctionnelles, ou en calculant la solution d'EDP avec des algorithmes itératifs. Les images produites sont généralement lisses, les textures n'étant pas bien reconstruites. Ce document présente plusieurs modèles réunissant les méthodes géométriques et les approches par patchs pour l'inpainting et la colorisation. Ils permettent de préserver la continuité des contours tout en reconstruisant correcte
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
Loading...