LATENTPATCH : Une approche non-paramétrique pour la génération et l'édition de visages - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2023

LATENTPATCH : Une approche non-paramétrique pour la génération et l'édition de visages

Résumé

This paper presents LATENT PATCH , a new method for generating realistic images from a small dataset of only a few images. Unlike traditional few-shot generation methods that fine-tune pre-trained large-scale generative models, our approach is computed directly on the latent distribution by sequential feature matching, and is geometrically explainable by design. Avoiding large models based on transformers, recursive networks, or self-attention, which are not suitable for small datasets, our method is inspired by non-parametric texture synthesis and style transfer models, and ensures that generated image features are sampled from the source distribution. We extend previous single-image models to work with a few images and demonstrate that our method can generate realistic images, as well as enable conditional sampling and image editing. We conduct experiments on face datasets and show that our simplistic model is effective and versatile.
Ce papier introduit LATENT PATCH , une nouvelle méthode de génération d’images réalistes à l’aide de peu d’images. À la différence des approches dites de finetuning sur de larges modèles génératifs pré-entraînés, notre approche consiste en une affectation séquentielle des patchs d’exemples plongés dans un espace latent. Cette méthode est par nature géométriquement explicable et s’inspire des algorithmes non-paramétriques de synthèse de textures et de transfert de style. Elle s’assure que les caractéristiques des images générées correspondent à la distribution des images d’origine, s’affranchissant ainsi des limitations des modèles plus larges basés sur les transformers, les réseaux récurrents ou l’auto-attention, vis-à-vis des faibles quantités de données. Nous étendons les précédents modèles de génération utilisant une seule image, pour les faire fonctionner avec plusieurs, et démontrons que notre méthode peut générer des images réalistes, faire de l’édition et de la génération conditionnelle. Les expériences effectuées sur des bases de visages montrent que notre méthode s’avère efficace et générique.
Fichier principal
Vignette du fichier
_GRETSI_2023__LatentPatch___Une_approche_non_param_trique___la_g_n_ration_et_l__dition_de_visages.pdf (3.57 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04411653 , version 1 (23-01-2024)

Identifiants

  • HAL Id : hal-04411653 , version 1

Citer

Benjamin Samuth, Julien Rabin, David Tschumperlé, Frédéric Jurie. LATENTPATCH : Une approche non-paramétrique pour la génération et l'édition de visages. GRETSI 2023 XXIXème Colloque Francophone de Traitement du Signal et des Images, Aug 2023, Grenoble, France. pp.ID1198. ⟨hal-04411653⟩
30 Consultations
12 Téléchargements

Partager

Gmail Facebook X LinkedIn More